Война и еще 25 сценариев конца света

3) образ нацелен на то, чтобы воздействовать на современного автору зрителя. В нем подчеркивается то, что будет наиболее интересно и в то же время понятно современнику: необычная техника. В результате мы имеем не образ будущего, а образ техники будущего. Но не учитывается взаимовлияние общества, техники, экономики и истории;

4) вещи будущего мира придумываются по отдельности, а не соединяются в систему. Поэтому изображают город с большим количеством самолетов и небоскребов, не думая, как одно с другим будет взаимодействовать;

5) наконец, невозможность придумать простые, очевидные нам решения – как пульт дистанционного управления, мышь, графический интерфейс;

6) злоупотребление экстраполяциями явных тенденций;

7) предсказание будущего – это всегда предсказание поведения более сложной, более интеллектуальной системы силами менее сложной и менее интеллектуальной. В этом смысле оно подобно попыткам предсказания поведения ИИ – и может служить иллюстрацией меры ошибочности в этом.

Невозможный «черный лебедь»

Принципиальной непредсказуемости будущих событий и склонности людей недооценивать маловероятное на их взгляд посвящена вышедшая в 2007 году книга Нассима Талеба «Черный лебедь». (Taleb Nassim Nicholas. The Black Swan: The Impact of the Highly Improbable. – New York: Random House, 2007.) Талеб пишет, что до открытия Австралии люди в старом мире считали, что все лебеди – белые, и в этой вере нет ничего удивительного, так как она полностью подтверждалась эмпирическими данными. Открытие первого черного лебедя было большим сюрпризом для орнитологов, но главное в истории, по словам Талеба, не это. Эта история иллюстрирует жесткую ограниченность нашей способности учиться на основании опыта и хрупкость нашего знания.

Одно-единственное наблюдение может разрушить обобщение, основанное на миллионах наблюдений в течение тысячелетий. Талеб предлагает называть «черным лебедем» событие, которое имеет три следующих атрибута:

1) оно необычно и лежит за пределами наших ожиданий;

2) последствия этого события крайне велики;

3) несмотря на нерядовой характер этого события, человеческая природа заставляет нас придумать такие объяснения этому событию, что оно выглядит задним числом объяснимым и предсказуемым.

То есть три отличительных свойства «черного лебедя» – это редкость, значительные последствия и ретроспективная предсказуемость. Небольшое количество «черных лебедей» объясняет, по словам Талеба, почти все свойства нашего мира: успех идей и стран, динамику исторических событий, личную историю людей. Более того, по мнению Талеба, с ходом истории, от неолита до наших дней, частота «черных лебедей» растет, и жизнь становится все более непредсказуемой.

Далее Талеб приводит классические примеры непредсказуемости событий вроде Первой и Второй мировых войн для людей, которые жили до этих событий. К сожалению, мы не можем оценить реальную степень непредсказуемости этих событий для людей, живших в то время, так как наше представление непоправимо искажено последующим знанием. Однако Талеб утверждает, что прихоти, эпидемии, мода, идеи, возникновение стилей искусств – все это имеет динамику событий, подобную «черным лебедям».

Комбинация низкой предсказуемости и значительных последствий делает «черных лебедей» трудноразрешимой задачей, но вовсе не это является главной проблемой, которую Талеб обсуждает в своей книге. Самое главное состоит в том, что мы склонны действовать так, как если бы «черных лебедей» не существовало.

Для разъяснения этого момента Талеб обращается к своему опыту работы в сфере финансов. Он утверждает, что обычные портфельные инвесторы воспринимают риск как колоколообразную кривую нормального распределения некой величины вокруг ее среднего значения. Однако в их расчетах вы не найдете возможностей «черных лебедей». Стратегию своего инвестиционного фонда Талеб построил именно на использовании этого психологического свойства людей. Он покупал контракты (опционы), которые стоили очень дешево, но приносили прибыль только в случае очень редких явлений-катастроф, и затем ждал, как рыбак, закинувший удочку. Любые внезапные колебания рынка приносили ему прибыль.

Центральной идеей своей книги Талеб считает нашу слепоту относительно случайности, особенно относительно больших событий. Он вопрошает, почему мы концентрируемся на пенни, а не на долларах. Почему мы концентрируемся на малых процессах, а не на больших. Почему, по словам Талеба, чтение газеты в действительности уменьшает наше знание о мире, а не увеличивает его.

Нетрудно увидеть, продолжает он, что жизнь – это кумулятивный эффект нескольких значительных событий. Далее Талеб предлагает мысленный эксперимент: рассмотреть свою собственную жизнь и изучить роль в ней непредсказуемых внезапных событий с огромными последствиями. Много ли технологических перемен пришли именно в тот момент, когда вы их ожидали? Вспомните в своей жизни моменты выбора профессии, встречи спутника жизни, изгнания с родины, предательства, внезапного обогащения и разорения – как часто такие вещи случались тогда, когда вы их запланировали? Недавно распространилась поговорка «расскажи Богу о своих планах – пусть он повеселится». Она об этом.

По Талебу, логика «черных лебедей» делает то, что вы не знаете, гораздо более важным, чем то, что вы знаете. Большинство «черных лебедей» случились только потому, что были неожиданными. Если бы возможность террористической атаки 11 сентября считалась реальной, то эта атака была бы невозможной.

Невозможность предсказать масштабные события делает невозможным, по Талебу, предсказание хода истории. Однако мы действуем так, как если бы могли предсказывать исторические события и даже, более того, менять ход истории. Мы пытаемся предсказать, что будет с нефтью через 30 лет, но не можем предсказать, сколько она будет стоить следующим летом. В силу этого, по мнению Талеба, эксперты знают не больше обычных граждан о будущем, однако умеют продавать свои предсказания с помощью графиков и цифр. Поскольку «черные лебеди» непредсказуемы, мы должны приспособиться к их существованию, а не наивно пытаться их предсказать.

Хорошим примером использования «черных лебедей» в своих целях является история про Ходжу Насреддина и ишака. Он не пытается предсказать будущее, а только знает, что за 20 лет случится какой-нибудь «черный лебедь», который избавит его от необходимости учить ишака говорить.

Другим важным обстоятельством, по Талебу, является склонность людей учиться частностям, а не общим закономерностям. Чему люди научились благодаря 11 сентября, вопрошает он? Научились ли они тому, что некоторые события, определяющие жизнь, находятся далеко за пределами царства предсказуемого? Нет. Обнаружили ли они дефектность во встроенной в нас общепринятой мудрости? Нет. Так чему же они научились? Они научились конкретным правилам, как избегать попадания исламских террористов в самолеты.

Другим примером слишком конкретной реакции (на опыт Первой мировой войны в данном случае) является строительство линии Мажино французами перед Второй мировой войной. Талеб предлагает следующий софизм: «Мы не способны сами собой научиться тому, что мы не учимся тому, что мы не учимся». Особенность наших умов состоит в том, что мы учимся фактам, а не правилам, и в силу этого нам особенно трудно обучиться метаправилам (например, тому, что нам плохо даются правила), полагает Талеб. Иначе говоря, никто не понимает, что история никого не учит.

Непредсказуемость и отказ от прогнозирования

О возможной глобальной катастрофе можно почерпнуть много ценного из русских пословиц и других источников народной мудрости. Начнем с классического: «Пока гром не грянет, мужик не перекрестится». Это означает, что ни одна гипотеза о возможной причине глобальной катастрофы не станет общепризнанной, пока не произойдет некое событие, однозначно удостоверяющее ее возможность, иначе говоря, пока катастрофа не начнется. Многие сценарии глобальной катастрофы оставляют очень маленький зазор между началом события и самим событием. Например, невозможно доказать, что есть шанс случайной ядерной войны, до тех пор, пока она не произойдет. То же самое касается и искусственного интеллекта – невозможно доказать, что возможен универсальный самообучающийся ИИ до того, как он будет создан. Более того, предупреждения алармистов парадоксальным образом действуют успокаивающе, создавая привычный фон. Мы хотим уподобиться Маше из сказки «Маша и медведи», которая и на кроватке полежит, и пирожок надкусит, и уйдет из дома незамеченной – обычно эту аналогию приводят в отношении экономики (Goldilocks economy), но это так же верно и применительно к новым технологиям.

Теперь вспомним такое высказывание, как «после нас хоть потоп» – оно в утрированной форме называет естественно присущую людям склонность резко снижать оценку значения событий, которые могут произойти после их смерти. По этой (но не только) причине многие люди не составляют завещания: им все равно, какие будут проблемы у их родственников после их смерти. Окончательное человеческое вымирание – это событие, которое произойдет после смерти последнего человека, и очень мало шансов оказаться именно этим последним человеком. Эта склонность к прожиганию жизни, «к пиру во время чумы» перед лицом неминуемой смерти, уравновешивается в человеческом сознании ощущением собственного бессмертия. Нам трудно себя убедить в том, что «сколько веревочке ни виться, а конец-то будет», и даже думая о неизбежности собственной смерти, мы прибегаем к абсурдной в данном контексте модели «авось пронесет».

Печальным кладезем научно-технической мудрости являются законы Мерфи в духе классического «все что может испортиться – испортится»: это не означает, что любой проект кончится плохо, но рано или поздно любой возможный сбой где-нибудь произойдет. Другой закон Мерфи, который помогает нам понять значение предсказаний: «Что бы ни случилось, всегда найдется человек, который будет утверждать, что знал это с самого начала».

Американский исследователь глобальных рисков Майкл Анисимов приводит следующий пример непредсказуемости и сложности влияния новых технологий на человеческую историю. Фриц Хабер (1898–1934) – одна из наиболее противоречивых фигур в науке и истории. Будучи химиком, он разработал процесс Хабера, который делает возможным связывание атмосферного азота и синтез аммиака. Аммиак, создаваемый по процессу Хабера, используется для производства синтетических удобрений во всем мире, эти удобрения применяются в сельском хозяйстве более чем третью человеческой популяции, обеспечивая едой миллиарды людей, которые иначе бы вообще не существовали. До этого изобретения добыча удобрений состояла в соскабливании помета летучих мышей со стен пещер или извлечении их из азотосодержащих скал в Чили. За свое открытие Хабер получил Нобелевскую премию по химии в 1918 году.

К сожалению, будучи немецким военным ученым, в ходе Первой мировой войны Хабер провел много других исследований, которые нельзя назвать иначе как чудовищными. Его называют отцом химического оружия за разработку отравляющих газов, которые использовались во время Первой мировой войны, хотя эта практика была запрещена Гаагскими соглашениями 1907 года. И только в 1997 году применение и накопление химического оружия было запрещено во всем мире Конвенцией по химическому оружию. Хабер также разработал знаменитый газ «Циклон Б», который использовался для убийства миллионов евреев, цыган и гомосексуалистов во время холокоста. Ирония судьбы в том, что сам Хабер был евреем, и десятки членов его родни были убиты «Циклоном Б» в концентрационных лагерях.

В 1915 году жена Хабера, химик и его сотрудник, была настолько потрясена исследованиями своего мужа, что выстрелила себе в грудь из его армейского пистолета прямо в саду их дома. Хабера это особенно не озаботило: он нашел себе новую жену, у которой не было проблем с его ужасными занятиями. Он умер в швейцарской лечебнице в 1934 году, так и не узнав о геноциде, который совершался с использованием его газа в ходе Второй мировой войны. Его сын Герман, который эмигрировал в США во время войны, в 1946 году тоже покончил с собой.

Эта история показывает, что нам очень трудно отличить позитивный и негативный смысл тех или иных научных открытий и видов деятельности, и одни и те же направления исследований могут приносить как несметные блага, так и соразмерные им опасности.

Можно задаться вопросом, почему именно глобальная катастрофа, ведущая к человеческому вымиранию, выбрана в качестве самого важного, в отрицательном смысле, возможного будущего события. Ведь можно сказать, что смерть страшна только в той мере, в какой жизнь имеет некую позитивную ценность. Подобное поведение типично для человеческих существ, когда выгоды затмевают риски. Однако я предлагаю рассматривать выживание человечества не как абсолютную ценность саму по себе, а как универсальное средство для любых других целей, которые могут отличаться у разных людей. Выбор какой-то одной ценности, отличной от человеческого выживания, – это всегда шанс, что возникнет ситуация, когда ради нее будет стоить рискнуть всем. Однако выбор «человеческого выживания» как универсального средства (при этом оставляя вопрос о главной цели на усмотрение каждого) исключает такую ситуацию.

Глава 3

Сингулярность

Термин «технологическая сингулярность» постепенно завоевывает признание, и по мере того как он все более широко становится известным в России, среди западных ученых, его породивших, нарастает разочарование из-за размытости этого термина. Тем не менее в ходе дискуссий возникло наиболее общее определение сингулярности, которое объединяет самое главное во всех более частных определениях, – сингулярность состоит в том, что через несколько десятков лет, а возможно и раньше, нас ждет внезапное решительное изменение всего мира, связанное с развитием новых технологий. Здесь слово «внезапное» подчеркивает скорость процессов во время сингулярности, «решительное» – масштаб изменений, при этом определяется время событий и их основная причина.

2025

Исходно термин «сингулярность» предложил Вернор Виндж в 1993 году, высказав идею о том, что, когда человек создаст машину, которая будет умнее его самого, с этого момента история станет принципиально непредсказуемой, так как невозможно предсказать поведение интеллектуально превосходящей системы. Исходя из темпов развития электроники, он предположил, что это произойдет в первой трети XXI века. (Виндж: «Я удивлюсь, если это случится до 2005 года или после 2030 года».)

Примерно к 2000 году Е. Юдковски пришел к идее о том, что возможна программа искусственного интеллекта (ИИ), способная совершенствовать саму себя, и с того момента, когда критический порог сложности будет преодолен, самосовершенствование ИИ начнет происходить со скоростью, на многие порядки превосходящей скорость конструирования его человеком. Именно этот самоусиливающийся процесс он стал подразумевать, говоря о сингулярности.

С другой стороны, многие исследователи разных областей знания обнаружили, что применяемые ими прогностические модели дают значения, уходящие в бесконечность в районе 2030 года. Например, в гиперболической функции роста населения Земли, предложенной СП. Капицей, число людей должно было бы стать бесконечным в районе 2025 года. И хотя реальное число людей отстает от этой функции, если к нему добавить, например, число компьютеров, то закон продолжает соблюдаться.

А.Д. Панов исследовал закономерности ускорения исторических процессов, начиная с зарождения жизни, в своей работе «Кризис планетарного цикла Универсальной истории». Он показал закономерность: цикл перед каждым следующим историческим этапом становится короче в 2,42 раза, и в результате мы тоже имеем кривую, которая обращается в бесконечность в районе 2030 года.

Похожие результаты дают прогнозы по отдельным технологиям. Программа развития нанотехнологий (Roadmap for nanotechnology, 2007) предполагает создание универсальных наномасштабных систем молекулярного производства – то есть тех самых нанороботов, которые все могут, – в период 15–30 лет с настоящего момента. Экспоненциальный прогресс в области биологии очевиден и при рассмотрении проектов расшифровки человеческого генома: первый проект длился 9 лет, причем большая часть работы была сделана за последние 9 месяцев, а сейчас запущен проект расшифровки геномов 1000 людей, уже предложены методы, которые удешевили этот процесс в тысячу раз и должны удешевить его в миллион раз в ближайшие годы.

Прогресс в биологии в ближайшие десятилетия должен позволить либо достичь практического бессмертия человека, либо открыть возможности для каждого создавать на дому новые смертельные вирусные штаммы. Очевиден прогресс и в области создания суперкомпьютеров – и в течение ближайших 20 лет они или должны упереться в некий естественный предел или привести к созданию «сверхчеловеческого» интеллекта. Также и исследование мозга человека продвигается довольно значительно – уже есть результаты по считыванию зрительных образов из мозга кошки, моделирования кортикальной колонки в проекте Blue brain и др. При этом проект Blue brain представил свою дорожную карту, по которой полное моделирование мозга человека будет возможно к 2020 году. Разрешающая способность томографов, позволяющая вживую наблюдать процессы внутри мозга, также растет по экспоненциальному закону. Все это заставляет предположить, что к 2020–2030 годам удастся создать способы считывания и записи информации в мозг напрямую из компьютера, что создаст принципиально новые перспективы.

Итак, каждая из ведущих технологий сама по себе должна выйти на уровень, ведущий к полной трансформации мира в течение примерно 30 ближайших лет, не говоря уже о том, что имеет место мощное взаимодействие между базовыми технологиями, называемое NBIC-конвергенция (синергетический обмен результатами и методиками между nano, bio, info и cogno технологиями, ведущий к взаимному усилению результатов и к возникновению некой новой единой технологии).

С другой стороны, есть ряд негативных прогнозов, пик которых также приходится на ближайшие несколько десятилетий. Среди них в первую очередь следует назвать разные предсказания об исчерпании ресурсов. Это – пик Хуберта в производстве (добыче) нефти, который мы, возможно, проходим уже сейчас, это пик производства пищи, объема доступных земель, запасов редких металлов. Здесь нам важно отметить не то, каковы конкретно эти прогнозы и верны ли они, а то, что все они говорят примерно об одной области дат в районе 2030 года.

Так или иначе, множество различных прогностических кривых испытывает перелом, обращается в бесконечность или в ноль в районе 2030 года – и хотя некоторые из этих предсказаний могут быть (и даже наверняка являются) ошибочными, исполнения любого из этих предсказаний, а тем более сразу нескольких из них достаточно, чтобы решительно изменить наш мир. При этом характер кривых, которые описывают эти изменения – экспонент, гипербол и гауссовых распределений (в случае пика Хуберта), показывает нам, что ожидаемая перемена будет носить резкий характер. Эффект совместного действия разных технологий и проблем, который грубо можно представить как произведение описывающих их параметров (хотя скорее здесь оправдано возведение в степень), еще в большей степени сделает острым результирующий график изменений. Отсюда следует, что перемены будут быстрыми и внезапными. При этом мы пока еще не можем сказать, какие это будут перемены, будут ли они хороши, и в какой мере они означают возможность окончательной катастрофы. (Хотя для тех, кто хочет сохранить что-то неизменным, они точно не будут хорошими.)

Теперь, когда мы установили общее во всех прогнозах сингулярности, мы можем обсудить в деталях разные «школы сингулярности».

Точные науки и технологии

В математике термин «сингулярность» связывают с наличием особенности у некой функции, например, того, что она обращается в бесконечность при приближении к нулю.

Физики стремятся избежать описания процессов функциями с сингулярностями, так как считается, что никакой физический параметр не может принять бесконечной величины. Наличие сингулярностей в описании свидетельствует обычно, что теория неполна. Например, теория непрерывного излучения света черным телом не работала, так как предсказывала бесконечно большое излучение, и ее пришлось заменить теорией излучения порциями – то есть квантовой теорией. Другой вариант сингулярностей в физике – это режимы с обострением. Так описываются системы, в которых некий параметр за конечное время приобретает бесконечное значение. Однако на самом деле он его не приобретает, так как система, в которой такой параметр имеет смысл, разрушается. Такие системы исследуют теория катастроф и синергетика.

В результате физика осталась только с двумя актуальными сингулярностями. Первая – это состояние Вселенной в момент Большого взрыва, когда, как предполагается, она была заключена в объем в 10

 см, и плотность энергии в ней была крайне велика, но все же не бесконечна, так как была ограничена условиями, даваемыми квантовыми соотношениями неопределенности. Отметим, что это не единственная теория Большого взрыва, и по другим теориям плотность энергии никогда не достигала максимальной величины, а имел место переход одного вида вакуума в другой, сопровождавшийся интенсивным расширением пространства (теория хаотической космологической инфляции).