Книга: Наша математическая вселенная

Будущее жизни

Будущее жизни

Начав с полной физической реальности мультиверса IV уровня, мы углубились в нашу конкретную вселенную и поговорили о её судьбе в отдалённой перспективе. Продолжим движение к дому и рассмотрим будущее жизни. Из всех поразительных свойств во Вселенной самым вдохновляющим я нахожу то, что она оживает и порождает самосознающие сущности вроде нас с вами, которые могут оценить её тайны и насладиться ими.

Каковы перспективы жизни? Одиноки ли люди во Вселенной? Или где-нибудь существуют иные цивилизации, способные с нами взаимодействовать и нас уничтожить? Будет ли человечество расселяться во Вселенной, возможно, в другой эволюционировавшей форме? Мы рассмотрим эти вопросы ниже, а пока коснёмся других, более насущных: каковы главные угрозы жизни на нашей планете, что можно им противопоставить?

Экзистенциальные угрозы

Когда мне было 15 лет, мне пришла в голову шокирующая мысль. Я хорошо знал, что вызывает у людей беспокойство: нас тревожат наши собственные трудности, например здоровье, деньги и карьера, а также опасности, угрожающие нашей семье, друзьям и обществу. Но что можно сказать об угрозах самой жизни на Земле? Беспокоят ли они нас по-настоящему? Нет, нисколько!

Я понял, что проживаю жизнь, убаюканный ложным чувством безопасности, наивно веря, что обо всём, о чём надо беспокоиться, уже позаботились другие. В детстве я не волновался об ужине, поскольку знал, что у родителей есть планы на этот счёт. Я не беспокоился о своей безопасности, поскольку знал, что пожарные и полиция знают своё дело. Постепенно я стал понимать, что взрослые не всезнающи и не всемогущи, как казалось, и что есть множество мелких проблем, которые я должен решать сам. Но по-настоящему крупные, самые важные проблемы, стоящие перед человечеством, должны иметь наивысший приоритет у наших политических лидеров. Так?

Я никогда не задумывался об этом, пока ужасная правда, словно кирпич, не свалилась на меня, когда мне было пятнадцать. Лично для меня звонком будильника стало изучение гонки ядерных вооружений. Я был глубоко поражён, когда понял, что мы, миллиарды людей, живём на драгоценной, прекрасной голубой планете, и хотя почти никто из нас не хочет полномасштабной ядерной войны, есть существенный риск, что она разразится ещё в течение моей жизни, скорее всего по ошибке. Возможно, риск составляет 1 % в год, или в 100 раз меньше, или в 10 раз больше. В любом случае, риск абсурдно велик. Тем не менее он даже не считается главной темой на выборах. Более того, ядерная война — лишь одна из множества экзистенциальных угроз (термин Ника Бострёма): в этих случаях речь идёт либо о гибели разумной жизни на Земле, либо о радикальном и необратимом сокращении её потенциала.[94]

Гораздо поэтичнее, чем я в подростковом возрасте, описал проблему американский архитектор-футурист Бакминстер Фуллер. Он представил её как коллективное путешествие на космическом корабле «Земля». Плывя по холодному и пустынному пространству, наш корабль обеспечивает нас всем необходимым и защищает нас. Он располагает значительными, но ограниченными запасами воды, провианта и топлива. Его атмосфера сохраняет тепло и (благодаря озоновому слою) защищает нас от солнечного ультрафиолета, а его магнитное поле — от смертельных космических лучей. Наверняка любой ответственный капитан космического корабля сделал бы высшим приоритетом его безопасность и избегал бы столкновения с астероидами, взрывов на борту, перегрева, разрушения ультрафиолетовой защиты и истощения запасов? Однако экипаж нашего корабля не объявил высшим приоритетом ни один из этих вопросов и направляет на их решение (по моим оценкам) менее миллионной доли своих ресурсов. Фактически у нашего корабля даже нет капитана!

Далее мы рассмотрим, почему люди так плохо организовали работу по устранению величайших угроз нашему долгосрочному существованию и что можно с этим сделать. Но прежде позвольте дать краткий обзор того, в чём состоят эти угрозы. На рис. 13.3 перечислены экзистенциальные угрозы, которые я считаю наиболее достойными внимания. Начнём с правого конца хронологической шкалы, отдалённого будущего, и станем двигаться к настоящему.

Рис. 13.3. Примеры того, что могло бы уничтожить жизнь в известном нам виде или навсегда сократить её потенциал. Хотя Вселенная скорее всего существует десятки миллиардов лет, наше Солнце выжжет Землю примерно через 1 млрд лет, а затем поглотит её, если мы не отведём её на безопасное расстояние. Наша Галактика столкнётся с соседней примерно через 3,5 млрд лет. Можно уверенно предсказать (мы не знаем, когда именно, но гораздо раньше), что мы испытаем астероидную бомбардировку, а супервулканы вызовут длящиеся годами зимы без солнечного света. В ближайшее время мы можем столкнуться с такими рукотворными проблемами, как изменения климата, ядерная война, глобальная пандемия и недружественный искусственный интеллект.

Умирающее Солнце

Начнём с астрономических и геологических угроз, а затем перейдём к тем, которые порождены человеком. Выше мы обсудили пять сценариев конца нашей Вселенной: Большое замерзание, Большой хлопок, Большой разрыв, Большое дробление и Смертельные пузыри. Хотя мы не знаем, какой из них (если не какой-либо ещё) фактически реализуется, я полагаю, что нам не следует паниковать и что Вселенная в следующие несколько десятков миллиардов лет не погибнет.

Но что мы знаем точно, так это то, что наше Солнце гораздо раньше создаст нам проблемы. Звезда возрастом 4,5 млрд лет светит всё ярче вследствие сложной динамики термоядерных реакций в ядре, где постепенно истощаются запасы водородного топлива. Согласно прогнозу, примерно через 1 млрд лет светимость Солнца станет оказывать катастрофическое воздействие на биосферу, а парниковый эффект приведёт к выкипанию океанов, как на Венере. Конечно, если мы что-нибудь не придумаем.

И кое-что предпринять можно. Астрономы Дональд Корикански, Грег Лафлин и Фред Адамс показали, что, хитрым образом используя астероиды, Земля может сохранять постоянную температуру, постепенно передвигаясь на более далёкую орбиту от разогревающегося Солнца. Суть состоит в подталкивании крупного астероида так, чтобы каждые 6 тыс. лет он пролетал очень близко от Земли и тем самым давал ей гравитационный толчок в нужном направлении. Каждое тесное сближение должно быть очень точно рассчитанным, чтобы направить астероид в окрестности Юпитера и Сатурна, где он приобретёт энергию и угловой момент, которые потребуются при следующей встрече с Землёй. Ранее мы с успехом предпринимали подобные гравитационные манёвры, отправляя космические аппараты, например межпланетные станции «Вояджер», во внешнюю область Солнечной системы. В случае успеха эта схема может увеличить период обитаемости Земли примерно с 1 до 6 млрд лет. Затем, насколько мы знаем, жизнь Солнца подойдёт к концу. Оно распухнет, превратившись в красный гигант, и тогда потребуются более радикальные меры, чтобы предотвратить поглощение им Земли и сохранить приемлемую температуру атмосферы.

Примерно в то же время, через несколько миллиардов лет, наша галактика Млечный Путь столкнётся и сольётся с ближайшим крупным соседом — галактикой Туманность Андромеды. Это не так страшно, как звучит, поскольку составляющие их звёзды находится на таких огромных расстояниях друг от друга в сравнении со своими размерами, что большинство их пройдёт друг мимо друга (если Солнце представить размером с апельсин в Бостоне, то ближайшая соседняя звезда, Проксима Центавра, будет находиться в моём родном Стокгольме). Вместо столкновений большинство звёзд перемешается и образует новую галактику Милкомеда. Однако это может усугубить проблемы, связанные со сверхновыми и астероидами.

Астероиды, сверхновые и супервулканы

Палеонтологические летописи рассказывают нам о пяти крупных вымираниях в последние 500 млн лет, каждое из которых погубило более 50 % видов животных. Хотя подробности этих событий бурно обсуждаются, широко признаётся, что они были спровоцированы различными астрономическими и геологическими событиями. Последнее из «большой пятёрки» вымираний, по-видимому, вызвал астероид размером с Эверест, упавший около 65 млн лет назад у побережья Мексики. Его жертвами пали нелетающие динозавры. Энергия удара была эквивалентна взрыву миллионов водородных бомб, она образовала 180-километровый кратер и окутала планету тёмными облаками, которые на долгие годы скрыли солнечный свет, вызвав повсеместный коллапс экосистем.

Земля регулярно подвергается ударам космических объектов различного размера и состава, так что вопрос не в том, случится ли такое столкновение, а лишь когда оно случится. Ответ во многом зависит от нас: система телескопов-роботов должна быть способна с упреждением в десятки лет известить нас об опасности, и это даст достаточно времени для разработки, запуска и выполнения миссии по отклонению астероида. Если сделать это заблаговременно, понадобится лишь лёгкий толчок, осуществить который можно, например, с помощью «гравитационного тягача» (спутника, гравитационное притяжение которого отклоняет астероид), или установленного на спутнике лазера (который будет испарять вещество с поверхности астероида, вызывая у последнего отдачу в противоположном направлении), или даже путём покраски астероида таким образом, чтобы давление солнечного излучения сбило его с курса. Если времени мало, потребуются более рискованные шаги, например кинетический ударник (спутник, подобно футболисту, сбивающий астероид с курса) или ядерный взрыв.

В качестве тренировки мы можем попрактиковаться в отклонении менее крупных и более многочисленных астероидов, которые часто сталкиваются с Землёй. Например, Тунгусское событие 1908 года вызвал объект массой примерно с нефтяной танкер. Он не представлял собой экзистенциальную угрозу, однако взрыв, эквивалентный взрыву 10-мегатонной бомбы, мог погубить миллионы людей, если бы удар пришёлся по крупному городу. Освоив искусство отклонения небольших астероидов, мы оказались бы подготовлены к приближению крупного объекта и смогли бы использовать те же ноу-хау для долгосрочного инженерного проекта, который мы обсуждали ранее: использования астероидов для увеличения орбиты Земли и её удаления от Солнца.

С астероидами, конечно, связаны не все массовые вымирания. Другим астрономическим подозреваемым мог быть гамма-всплеск. Или взрыв сверхновой, который обвиняется во втором по масштабу массовом вымирании около 450 млн лет назад. Хотя улики пока слишком незначительны, чтобы построить на них обвинительный вердикт, обвиняемый определённо располагал средствами и возможностью. Когда массивные и быстро вращающиеся звёзды взрываются как сверхновые, они испускают часть колоссальной энергии взрыва в виде пучка гамма-излучения. Если такой «луч смерти» упадёт на Землю, он нанесёт двойной удар: сначала уничтожит нас, а после (из-за разрушения озонового слоя) солнечный ультрафиолет начнёт стерилизацию поверхности планеты.

Существует интересная взаимосвязь между астрономическими угрозами. Изредка случайная звезда проходит от Солнечной системы достаточно близко, чтобы возмутить орбиты далёких астероидов и комет, направив их рой во внутреннюю часть Солнечной системы, где некоторые из них могут столкнуться с Землёй. Например, предсказывают, что звезда Глизе 710 примерно через 1,4 млн лет пройдёт в пределах одного светового года от нас (в 4 раза ближе нашего нынешнего ближайшего соседа Проксимы Центавра).

Более того, современный упорядоченный поток звёзд, обращающихся вокруг центра Млечного Пути в одном направлении, как на карусели, сменится хаосом, когда наша Галактика будет сливаться с Туманностью Андромеды. Это значительно увеличит частоту разрушительных сближений с иными звёздами и может спровоцировать астероидную бомбардировку или вовсе выбросить Землю из Солнечной системы. Столкновение галактик также приведёт к столкновению газовых облаков, спровоцировав всплеск звездообразования, а самые массивные новорождённые звёзды будут взрываться как сверхновые, причём это может происходить слишком близко.

Ближе к дому мы сталкиваемся с внутренним врагом: событиями, вызванными нашей собственной планетой. Супервулканы и массивные излияния базальтовой лавы — главные подозреваемые во многих вымираниях. Они способны вызвать «вулканическую зиму», окутав Землю пылевыми облаками, которые на годы заслонят солнечный свет, как при ударе крупного астероида. Они также могут привести к разрушению экосистем, выбрасывая в атмосферу токсичные газы, вызывающие кислотные дожди и глобальное потепление. Такое суперизвержение, случившееся в Сибири, широко признаётся в качестве причины крупнейшего известного вымирания, называемого Великим:[95] тогда, 250 млн лет назад, исчезло 96 % видов морских животных.

Проблема в нас

Мы сталкиваемся с многочисленными экзистенциальными угрозами, связанными с астрономическими и геологическими явлениями. Я перечислил лишь те, которые считаю наиболее серьёзными. Когда я думаю обо всех таких рисках, я прихожу в целом к оптимистичному прогнозу:

Решив самые неотложные проблемы (рис. 13.3, слева), мы обеспечим себе время для того, чтобы заняться остальными.

По иронии судьбы, эти неотложные проблемы в основном порождены нами самими. В то время как большинство геологических и астрономических катастроф маячит в тысячах, миллионах и миллиардах лет впереди, люди радикально меняют положение дел в масштабах десятилетий, открывая ящик Пандоры с новыми экзистенциальными угрозами. Изменяя воду, сушу и воздух за счёт рыболовства, сельского хозяйства и промышленности, мы ежегодно вызываем вымирание около 30 тыс. видов. Некоторые биологи уже называют происходящее «шестым вымиранием». Не грозит ли в скором будущем вымирание и нам самим?

Вы, несомненно, следите за язвительной полемикой вокруг вызванных человеком рисков, таких как глобальная пандемия (случайная и преднамеренная), изменения климата, загрязнение окружающей среды, истощение ресурсов и коллапс экосистем. Позвольте мне рассказать подробнее о двух порождённых человеком угрозах, которые сильнее всего беспокоят меня самого: случайная ядерная война и недружественный искусственный интеллект.

Случайная ядерная война

«Серийный убийца на свободе!» «Террорист-смертник!» «Остерегайтесь птичьего гриппа!» Хотя ужасы, привлекающие газетчиков, очень пугают, для вас всё же опаснее рак. Хотя вероятность заболеть раком составляет менее 1 % в год, жизнь достаточно продолжительна и имеется значительная вероятность, что в конце он и вас поджидает. Как и случайная ядерная война.

В течение той половины столетия, когда мы располагали средствами для организации ядерного Армагеддона, не прекращались ложные сигналы тревоги, способные спровоцировать всеобщую войну. Это настолько сильно беспокоило меня в 17-летнем возрасте, что я стал фрилансером в шведском журнале PAX, посвящённом борьбе за мир. Главный редактор Карита Андерсон обучала меня азам журналистики. Постепенное рассекречивание документов показывало, что некоторые ядерные инциденты несли гораздо больший риск, чем признавали государства в то время, когда они имели место. Лишь в 2002 году стало известно, что во время Карибского кризиса американский корабль «Бигль» атаковал глубинными бомбами неизвестную подводную лодку. Субмарина оказалась советской, несла ядерное оружие, и её командир едва не пустил его в ход.

Несмотря на то, что холодная война закончилась, риск ядерного конфликта в последние годы, по-видимому, снова вырос. Неточные, но мощные межконтинентальные баллистические ракеты (МБР) поддерживали стабильность «гарантированного взаимного уничтожения». Улучшение наведения у ракет, сокращение их подлётного времени и усовершенствование систем слежения за подводными лодками ведёт к нарушению такой стабильности. Россия и Соединённые Штаты придерживаются стратегии запуска после предупреждения о ракетном нападении. Она требует, чтобы решение об ответном ядерном ударе принималось в течение 5–15 минут, когда может ещё не быть полной информации о происходящем. 25 января 1995 года Борис Ельцин был в шаге от решения о полномасштабном ударе по Соединённым Штатам из-за неопознанной норвежской исследовательской ракеты. Вызвал беспокойство американский проект по замене на подводных лодках «Трайдент» у 2 из 24 баллистических ракет D5 ядерных боеголовок обычными для возможного использования против Ирана или Северной Кореи. Российские системы раннего оповещения не смогли бы отличить их от ядерных ракет, что увеличило бы опасность. Вызывает тревогу также вероятная психическая неуравновешенность командиров и (или) их радикальные политические либо религиозные взгляды.

Но к чему беспокойство? Ясно же, что когда дойдёт до дела, разумные люди вмешаются и всё сделает правильно, как уже бывало. Ядерные державы предпринимают серьёзные контрмеры, как наш организм — против рака. Тело способно справляться с изолированными вредоносными мутациями, и, по-видимому, требуется случайное совпадение минимум четырёх мутаций, чтобы спровоцировать развитие рака некоторых типов. И всё же, если бросать кости достаточное число раз, неприятность случается. Стэнли Кубрик в мрачной комедии «Доктор Стрейнджлав» иллюстрирует такое совпадение.

Случайная ядерная война между двумя сверхдержавами может случиться в течение моей жизни — или не случиться. Если это произойдёт, очевидно, всё изменится. Изменения климата, о которых мы сейчас тревожимся, блёкнут на фоне ядерной зимы, при которой пылевое облако на целые годы закроет Солнце, как бывало при падении астероидов или извержении супервулканов, в прошлом вызывавших массовые вымирания. Экономические неурядицы 2008 года были, конечно, ничем в сравнении с неурожаем в глобальном масштабе, коллапсом инфраструктуры и массовым голодом. Ожидаю ли я увидеть всё это своими глазами? Я бы оценил вероятность этого сценария примерно в 30 %, что в первом приближении соответствует вероятности заболеть раком. При этом мы гораздо меньше внимания и ресурсов уделяем снижению риска ядерной катастрофы (по сравнению с раком). Даже если 30 % людей заболеет раком, то остальное человечество уцелеет, а перспективы цивилизации при ядерном Армагеддоне гораздо менее очевидны. Есть конкретные, ясные шаги, направленные на снижение риска ядерного конфликта, и они описаны в многочисленных научных докладах. Однако это никогда не становилось важной предвыборной темой и по большей части игнорируется.

Недружественная сингулярность

Промышленная революция дала нам машины сильнее нас. Информационная революция породила машины умнее нас в некоторых отношениях. Каких именно? Компьютеры обычно превосходят нас только в простых, требующих «грубой силы» когнитивных задачах, таких как быстрые арифметические вычисления или поиск в базе данных. Однако в 2006 году компьютер одолел чемпиона мира по шахматам Владимира Крамника, а в 2011 году положил на лопатки Кена Дженнингса в телевикторине Jeopardy![96] В 2012 году компьютер получил водительскую лицензию в штате Невада, после того как было доказано, что он безопаснее водителя-человека. Как далеко это зайдёт? Превзойдут ли нас компьютеры по всем задачам, выработав сверхчеловеческий интеллект? У меня мало сомнений в том, что это может случиться: наш мозг — это совокупность частиц, подчиняющихся законам физики, и нет физического закона, запрещающего частицам организоваться так, чтобы выполнять ещё более сложные вычисления. Но случится ли это, и будет ли это хорошо? Вопросы очень своевременные: хотя некоторые считают, что машины со сверхчеловеческим интеллектом в обозримом будущем построить нельзя, другие, например американский изобретатель и писатель Рэй Курцвейл, предсказывают их появление уже к 2030 году, что делает данную угрозу требующей неотложного рассмотрения.

Идея сингулярности

В общем, неясно, появятся ли (и должны ли появиться) сверхразумные машины, и эксперты по искусственному интеллекту расходятся во мнениях по этому вопросу. Но, я думаю, совершенно ясно, что если такое случится, последствия будут взрывоподобными. Почему это так, объяснил британский математик Ирвинг Гуд в 1965 году, за два года до моего рождения: «Определим сверхразумную машину как такую, которая может превзойти сколь угодно умного человека в любой интеллектуальной деятельности. Поскольку конструирование машин является одним из видов такой интеллектуальной деятельности, сверхразумная машина может сконструировать машины, которые окажутся ещё лучше. Тогда, несомненно, произойдёт „интеллектуальный взрыв“, и интеллектуальный уровень человека останется далеко обойдён. Таким образом, первая сверхразумная машина станет последним изобретением, которое человеку когда-либо понадобится сделать — при условии, что эта машина будет достаточно покорной и покажет нам, как держать её под контролем».

В заставляющей задуматься статье 1993 года математик и писатель-фантаст Вернор Виндж назвал этот интеллектуальный взрыв сингулярностью и доказывал, что это будет точка, за которой мы не сможем делать надёжных предсказаний.

Я думаю, что если мы и сможем построить сверхразумные машины, то первая из них будет очень сильно ограничена в возможностях тем программным обеспечением, которое мы напишем, и что мы компенсируем наш недостаток понимания того, как оптимально запрограммировать интеллект, создав аппаратное обеспечение, обладающее значительно большей вычислительной мощностью, чем наш собственный мозг. В конце концов, наши нейроны не лучше и не многочисленнее, чем у дельфинов, просто по-другому соединены, а значит, программное обеспечение может иногда быть важнее аппаратуры. Эта ситуация, вероятно, позволила бы первой машине радикально совершенствоваться, переписывая собственное программное обеспечение. Иными словами, в то время как людям понадобились миллионы лет эволюции, чтобы радикально улучшить свой интеллект, эта эволюционирующая машина смогла бы воспарить над интеллектом своих предков, то есть нас, за считанные часы, если не за секунды.

И после этого жизнь на Земле навсегда изменится. Тот (или то), кто будет контролировать эту технологию, быстро станет самым богатым и могущественным, обыгрывая все финансовые рынки и превосходя в изобретениях и патентах всех учёных-людей. Создавая радикально лучшее аппаратное и программное обеспечение для компьютеров, такие машины могли бы быстро наращивать свою мощность и численность. Вскоре были бы изобретены технологии, выходящие за рамки нашего нынешнего воображения, включая любое оружие, которое покажется необходимым. А дальше настал бы черёд политического, военного и социального управления миром. С учётом того, насколько серьёзное влияние оказывают сегодня книги, СМИ и интернет, я полагаю, что машины смогли бы превзойти в публицистике миллиарды самых талантливых людей, покорив наши сердца и умы без всякого подкупа или завоевания.

Кто контролирует сингулярность?

Если наступит сингулярность, как она повлияет на человеческую цивилизацию? Конечно, мы не можем знать это наверняка, но, думаю, это зависит от того, кто или что будет её первоначально контролировать (рис. 13.4). Если технология будет первоначально разработана учёными или другими людьми, которые сделают её общедоступной, то, я думаю, возникшая ситуация «всё для всех даром» будет крайне нестабильной и приведёт к тому, что после короткого периода конкуренции управление сосредоточится в едином центре. Если этим центром будет эгоистичный человек или корпорация, нацеленная на получение прибыли, то, думаю, такой владелец вскоре возьмёт под контроль государственное управление, став правителем в масштабах всего мира. Альтруистичный человек может повести себя так же. В этом случае управляемый человеком искусственный интеллект (ИИ) был бы, по сути, подобен порабощённому богу, который по своим способностям далеко превосходит людей, но делает то, что приказывают хозяева. ИИ был бы настолько же совершеннее современных компьютеров, насколько люди совершеннее муравьёв.

Вполне вероятно, что удержать ИИ в подчинённом состоянии окажется невозможным. Носители ИИ будут коммуницировать с нами и смогут нас изучить нас в достаточной мере, чтобы придумать, как уговорить нас сделать что-нибудь на первый взгляд безобидное — что, однако, позволит им вырваться из-под опеки и, распространяясь стремительно, как инфекция, взять над нами верх. Я сильно сомневаюсь, что мы сможем избежать поражения, учитывая, как тяжело нам даётся уничтожение даже сравнительно простых компьютерных вирусов.

Чтобы предупредить «побег» или лучше служить человеческим интересам, владелец может предпочесть добровольно передать власть тому, что исследователь ИИ Элиезер Юдковски назвал «дружественным ИИ», который независимо от уровня своего развития стремится приносить человечеству пользу, а не вред. Если так, то дружественные носители ИИ станут действовать как доброжелательные божества или смотритель зоопарка, следя, чтобы люди были накормлены, находились в безопасности и достигали самореализации, оставаясь при этом под твёрдым контролем. Если вся человеческая работа будет выполняться машинами под управлением дружественного ИИ, человечество может продолжать существовать более или менее счастливо — при условии, что необходимые продукты будут доставаться нам практически даром. Напротив, в сценарии, где сингулярностью управляет эгоистичный человек или коммерческая корпорация, вероятным результатом станет невиданная диспропорция в доходах, поскольку история учит нас, что большинство людей предпочитает накапливать богатство, а не делиться с другими.

Рис. 13.4. Если наступит сингулярность, всё будет зависеть от того, кто ею управляет.

Однако и лучшие планы рушатся. Ситуация с дружественным ИИ может оказаться неустойчивой, превратившись в конце концов в подконтрольную недружественному ИИ, цели которого не будут совпадать с человеческими, а действия приведут к уничтожению и самого человечества, и всего, что нам дорого. Такое уничтожение может быть скорее побочным эффектом, чем преднамеренным результатом: ИИ может просто захотеть использовать земные атомы для других целей, несовместимых с нашим существованием. Аналогия с тем, как мы сами обращаемся с иными формами жизни, не радует. Если мы хотим построить гидроэлектростанцию и оказалось, что в области затопления живёт некоторое число муравьёв, мы всё равно построим плотину. У нас нет особенной антипатии к муравьям, однако есть цели, которые мы считаем более важными.

Внутренняя реальность сверхразумной жизни

А что можно сказать о сознании и самосознании искусственного интеллекта или интеллектов? Будут ли они обладать внутренней реальностью? Если нет, то с любой практической точки зрения они будут как зомби. Из всех черт, присущих человеческой форме жизни, самой замечательной я считаю сознание. Насколько я понимаю, именно так Вселенная приобретает смысл, а если нашу Вселенную захватит форма жизни, лишённая этой черты, это окажется бессмысленным разбазариванием огромного пространства.

О природе жизни и сознания яростно спорят. Я считаю, что эти явления могут существовать в гораздо более общем смысле, а не только в известных нам примерах на углеродной основе. Я считаю, что сознание — это способ, каким информация ощущает, что её обрабатывают (гл. 11). Поскольку материя может быть организована так, чтобы обрабатывать информацию множеством способов самой разной сложности, предполагается большое разнообразие уровней и типов сознания. Конкретный тип сознания, который мы знаем субъективно, — это, в таком случае, явление, возникающее в отдельных, очень сложных физических системах, которые получают, обрабатывают, хранят и выводят информацию. Ясно, что если атомы могут быть собраны в людей, то законы физики также позволяют сконструировать гораздо более развитые формы жизни.

Поэтому я думаю, что если мы посредством сингулярности запустим в конце концов развитие более развитых сущностей, скорее всего они тоже будут иметь самосознание и должны будут рассматриваться не как машины, а как подобные нам сознательные существа. Однако их сознание может субъективно ощущаться совсем не так, как наше. Например, у них, вероятно, не будет присущего нам страха смерти: поскольку у них будут резервные копии самих себя, всё, что им может грозить — это потеря воспоминаний, накопленных с момента последнего бэкапа. Возможность легко копировать информацию и программное обеспечение между носителями ИИ, вероятно, ослабит чувство индивидуальности, которое характерно для человеческого сознания. Стало бы меньше различий между вами и мной, если бы мы могли легко копировать наши воспоминания и делиться способностями, так что группа соседствующих носителей ИИ может ощущать себя скорее как единый организм с целым ульем сознаний.

Если так, то появляется возможность примирить долгосрочное сохранение жизни с аргументом Судного дня (гл. 11): то, что кончается, — не сама жизнь, а только наш референтный класс, наблюдательные мгновения самосознания, которые субъективно ощущаются похожими на человеческие сознания. Даже если сложные ульеподобные сознания в течение миллиардов лет населяют Вселенную, мы не в большей мере должны удивляться тому, что не являемся ими, чем тому, что мы не являемся муравьями.

Реакция на сингулярность

Реакция людей на возможность сингулярности очень различается. У дружественного ИИ весьма почтенная история в научно-фантастической литературе, поддержанная тремя законами робототехники Азимова. Популярны и сюжеты, в которых ИИ перехитрил и атаковал своих создателей, как в фильмах о Терминаторе. Многие отмахиваются от сингулярности как от «мечты гиков», видя в ней сценарий, который вряд ли реализуется… и уж точно не реализуется в обозримом будущем. Другие думают, что это вполне может случиться и что если у нас не будет детального плана, может погибнуть не только человеческий вид, но и всё, что нам дорого. Я состою советником в Институте изучения искусственного интеллекта (http://intelligence.org), и многие его сотрудники рассматривают сингулярность как наиболее серьёзную угрозу нашего времени. Некоторые из них думают, что если нельзя гарантировать реализацию варианта с дружественным ИИ по Юдковски и др., то лучше держать ИИ под надёжным человеческим контролем или вовсе не улучшать ИИ.

До сих пор мы обсуждали негативные последствия сингулярности. Рэй Курцвейл, напротив, считает сингулярность огромным благом и даже лучшим, что может случиться с человечеством, поскольку она решит все нынешние человеческие проблемы.

Вдохновляет или ужасает вас идея замены человечества более развитой формой жизни? Это, вероятно, сильно зависит от обстоятельств и, в частности, от того, видите ли вы в преемниках своих потомков или поработителей.

Если ребёнок оказался умнее своих родителей и, став самостоятельным, достиг того, о чём они и не мечтали, то родители, вероятно, будут счастливы и горды им, даже если знают, что самим им не суждено всё это испытать. Родители очень умного человека, устроившего кровавую бойню, чувствуют себя иначе. Мы можем ощущать отношения родитель — ребёнок с ИИ, рассматривая его как наследника наших ценностей. Поэтому имеет огромное значение, станет ли будущая высокоразвитая жизнь хранить верность нашим идеалам.

Другой важный фактор — окажется переход постепенным или резким. Я подозреваю, что мало кто обеспокоен перспективами человечества. Люди за тысячелетия своей эволюции стали умнее, лучше приспосабливаются к изменяющейся окружающей среде и, возможно, меняют свой облик. С другой стороны, многие родители будут испытывать двойственные чувства, если узнают, что ребёнок, о котором они мечтали, будет стоить им жизни. Если технология не заменит нас внезапно, а будет модернизировать и совершенствовать нас, в итоге сливаясь с нами, то может быть обеспечено и сохранение целей, и постепенность, необходимые нам, чтобы рассматривать постсингулярные формы жизни в качестве потомков. Мобильные телефоны и интернет уже расширили наши возможности по достижению того, чего мы хотим, по-видимому, без существенного искажения наших главных ценностей. Так что адепты сингулярности верят, что то же самое будет и с мозговыми имплантатами, устройствами, управляемыми мыслью, и даже с полной загрузкой человеческого сознания в виртуальную реальность.

Более того, это открывает нам космос, последний рубеж. В конце концов, чрезвычайно развитая жизнь, способная распространиться во Вселенной, вероятно, может появиться лишь в результате двухстадиального процесса: сначала разумные существа развиваются в ходе естественного отбора, а затем решают передать факел жизни дальше, сконструировав более совершенное сознание, способное к дальнейшему самосовершенствованию. Освобождённая от ограничений, накладываемых человеческими телами, развитая жизнь может расцвести и в конце концов заселить большую часть наблюдаемой Вселенной. Эту возможность давно изучают писатели-фантасты, энтузиасты ИИ и мыслители-трансгуманисты.

Так наступит ли сингулярность в ближайшие десятилетия? Является ли она чем-то таким, чему мы должны противодействовать? Я думаю, надо честно сказать, что мы очень далеки от консенсуса по обоим вопросам, но это не значит, что разумно ничего не предпринимать. Сингулярность может стать лучшим или худшим событием, произошедшим с человечеством, так что если есть хотя бы 1 % вероятности, что сингулярность случится при нашей жизни, я думаю, разумно было бы потратить 1 % ВВП на изучение этого вопроса и принятие соответствующих решений. Так почему мы этого не делаем?

Глупость космического масштаба

Научная карьера открыла мне космическую перспективу, при которой остро необходимым кажется управление экзистенциальными угрозами (рис. 13.5). Нам, профессорам, приходится ставить оценки. Предположим, я бы читал начальный курс менеджмента риска и должен был бы поставить оценку за первый семестр человечеству, основываясь на том, как мы до сих пор управлялись с экзистенциальными угрозами. Вы, наверное, требовали бы, чтобы я поставил четыре на том основании, что человечество до сих пор не бросило курс. Но я, со своей космологической перспективы, считаю наши результаты неудовлетворительными и не могу поставить выше двойки: долгосрочный потенциал жизни — буквально астрономический, однако люди не имеют разумного плана касательно даже неотложных экзистенциальных угроз и уделяют разработке таких планов лишь ничтожную долю своего внимания. В сравнении с 20 млн долларов, потраченными в прошлом году Союзом обеспокоенных учёных (одной из крупнейших организаций, занимающихся, по крайней мере, некоторыми экзистенциальными угрозами), только Соединённые Штаты потратили почти в 500 раз больше на косметическую хирургию, почти в 1 тыс. раз больше на кондиционирование воздуха для военных, примерно в 5 тыс. раз больше на сигареты и примерно в 35 тыс. раз больше на военные нужды, не считая военного здравоохранения, содержания отставников и процентов по военным кредитам.

Рис. 13.5. Важность разумного отношения к экзистенциальным угрозам становится более очевидной в космической перспективе, поскольку в ней подчёркивается огромный потенциал, который мы рискуем потерять, если разрушим нашу цивилизацию.

Как мы можем быть такими недальновидными? Ну, допустим, эволюция подготовила нас в основном к технологиям вроде палок и камней и, вероятно, мы не должны удивляться, что обращаемся с современными технологиями так неумело, но мы могли хотя бы не усугублять ситуацию. Вот я сижу в большом ящике из дерева и камня и многократно нажимаю маленькие чёрные квадратики, глядя на светящийся прямоугольник перед собой. Я не встретил сегодня ни одного живого организма и часами сижу здесь, освещённый сверху люминесцентной спиралью. Я, несмотря на всё это, чувствую себя счастливым — вот доказательство того, насколько удивительно адаптивным мозгом наделила нас эволюция. (Как и тот факт, что я научился интерпретировать чёрные фигурки на светящемся прямоугольнике как слова, рассказывающие мне истории, и то, что я знаю, как вычислить возраст Вселенной, несмотря на то, что ни один из этих навыков не имел никакой ценности для моих пещерных предков.) Но из того, что мы умеем делать многое, не следует, что мы умеем всё необходимое. Внешние силы медленно меняли окружающую среду последние 100 тыс. лет, и эволюция помогала нам адаптироваться. Но недавно мы сами изменили нашу среду — слишком поспешно, чтобы эволюция могла за нами успеть. Мы усложнили её настолько, что и ведущим экспертам трудно до конца понять узкие аспекты. Так что не удивительно, что мы иногда теряем из виду общую картину и отдаём предпочтение краткосрочным удовольствиям, а не выживанию нашего «космического корабля». Например, эта светящаяся спираль над головой питается от сжигания угля, который превращается в углекислый газ, дающий вклад в перегрев нашего корабля, и сейчас, когда я об этом думаю, я вообще-то давно должен был бы её выключить.

Человеческое общество: научная перспектива

Итак, мы на космическом корабле «Земля», который направляется в астероидный пояс экзистенциальных угроз безо всякого плана и даже без капитана. Ясно, что надо что-нибудь с этим делать, но что должны представлять собой наши цели, как их лучше всего достичь? Вопрос «что» является этическим, а «как» — научным. И оба они имеют критическое значение. Перефразируя Эйнштейна, можно сказать, что наука без этики слепа, а этика без науки хрома. Однако, как подчёркивает мой друг Джефф Эндерс, существуют некоторые этические соображения, с которыми почти все согласны («Лучше, если не будет глобальной ядерной войны») — и при этом не ведётся никакой работы по их превращению в практически достижимые цели. Вот почему я поставил двойку за смягчение экзистенциальных угроз. Я думаю, нечестно списывать этот провал на трудности с этикой и вопросом что. Мне кажется, стоит начать с таких проблем, где людьми достигнуто согласие относительно целей, например, с долгосрочного развития цивилизации и применения научного подхода к достижению целей (я использую слово «научный» в широком смысле, подчёркивая участие логики). Мне не кажется достаточным замечание вроде: «Нужно добиться масштабного пересмотра убеждений». Требуются более конкретные стратегии. Как помочь человечеству стать менее близоруким, когда оно прокладывает курс? В общем, как сделать, чтобы разум играл более важную роль в принятии решений?

Изменения в обществе возникают под влиянием сложного комплекса разнонаправленных сил. Простейший с физической точки зрения способ изменить сложную систему — найти области неустойчивости, где приложение небольшой силы возрастает, вызывая большие изменения. Например, слабый толчок может предотвратить столкновение астероида с Землёй через десятилетие. Для индивида простейший способ повлиять на общество — использовать уязвимости, что отражено в многочисленных метафорах, основанных на физике: «искра в пороховой бочке», «распространяется как степной пожар», «эффект домино», «катится как снежный ком».[97] Например, если вы хотите снизить экзистенциальную угрозу со стороны астероидов, трудный путь состоит в том, чтобы построить ракетную систему для отклонения астероидов. Более простой путь — потратить гораздо меньше денег на систему раннего предупреждения, зная, что как только у вас появится информация о приближающемся астероиде, собрать деньги на ракетную систему станет проще.

Я думаю, что среди многих областей, которые проще всего использовать для того, чтобы сделать планету лучше, особое место принадлежит распространению информации. Чтобы разум играл роль в принятии решений, в головах у тех, кто принимает решения, должна быть релевантная информация. Как показано на рис. 13.6, это обычно предполагает три шага, и все они часто оказываются неуспешными: информация должна быть создана (открыта); распространена; усвоена лицами, принимающими решения. Когда открытия распространяются по этому треугольнику и достигают других людей, это открывает возможности для дальнейших открытий и питает рост человеческих знаний, вызывая повторение этого полезного цикла. Некоторые открытия обеспечивают дополнительное преимущество, делающее сам треугольник эффективнее: пресса и интернет кардинально улучшили ситуацию с распространением и усвоением информации, тогда как совершенствующиеся детекторы и компьютеры серьёзно помогают исследователям. Но и сейчас остаётся место для совершенствования всех трёх связей в информационном треугольнике.

Научные исследования и другие способы создания информации — это, очевидно, хорошие инвестиции для общества (как и попытки противодействия цензуре — другому препятствию для распространения информации). Однако, я думаю, легче всего подступиться к усвоению информации (нижняя стрелка на рис. 13.6). Несмотря на впечатляющие успехи в этой сфере, я чувствую, что мировое научное сообщество потерпело сокрушительный провал в деле обучения публики и людей, принимающих решения. В 2010 году гаитяне сожгли 12 «ведьм». Опросы показывают, что 39 % американцев считает астрологию наукой, а 46 % верит, что возраст нашего биологического вида составляет менее 10 тыс. лет. Если бы все понимали, что такое научная концепция, доля таких ответов была бы равна нулю. Более того, мир был бы гораздо лучше, если бы люди с научным складом ума, принимая решения, основывались на корректной информации. Рационально делая покупки и голосуя на выборах, они также укрепляли бы научный подход к принятию решений в компаниях, организациях и правительствах.

Рис. 13.6. Информация чрезвычайно важна для того, чтобы разум доминировал в управлении обществом. Когда открыта важная информация, необходимо сделать её доступной, а затем донести её до тех, кто должен её учитывать.

Почему учёные потерпели неудачу? Я думаю, ответ кроется в основном в психологии, социологии и экономике. Научный уклад жизни требует научного подхода и к сбору, и к использованию информации, причём и там, и там есть свои трудности. У вас определённо больше шансов сделать правильный выбор, если вы, прежде чем примете решение, знакомитесь со всем спектром аргументов. Однако есть много причин, по которым люди не получают полной информации. У многих просто нет доступа к ней (так, 97 % афганцев не имеет выхода в интернет, и, согласно опросу 2010 года, 92 % их не знает о терактах 11 сентября 2001 года). Многие слишком заняты, чтобы самому искать информацию. Многие пользуются информацией лишь из источников, питающих их предубеждения. Так, опрос 2012 года показал, что 27 % американцев считает, будто Барак Обама вероятно или наверняка родился в другой стране. Самую важную информацию может быть трудно найти даже тем, кто имеет выход в интернет и не страдает от цензуры, поскольку она похоронена под лавиной ненаучных публикаций.

Следующая проблема: что делать с полученной информацией. Главная черта научного уклада состоит в том, чтобы менять своё мнение, столкнувшись с информацией, которая не согласуется с нашими взглядами, и избегать интеллектуальной инерции. Между тем многие лидеры хвалятся своими «твёрдыми» убеждениями. Ричард Фейнман приветствовал «недоверие к экспертам» как краеугольный камень науки. Между тем широко распространены стадный инстинкт и слепая вера людям, облечённым властью. Логические построения — основа научного мышления. Между тем при принятии решений нередко берут верх беспочвенные мечты, иррациональные страхи и другие когнитивные искажения.

Так что же можно сделать для популяризации научного стиля жизни? Очевидный ответ — улучшать образование. В некоторых странах наличие даже начального образования стало большим шагом вперёд (читать умеет менее 50 % пакистанцев). Образование, уменьшая нетолерантность и лишая фундаментализм поддержки, снижает уровень насилия и предотвращает войны. Расширяя права женщин, оно уменьшает бедность и сдерживает популяционный взрыв. Но и в странах, где у каждого есть возможность получить образование, нам есть чем заняться. Слишком часто школы напоминают музеи. Надо уходить от учебных планов, выхолощенных поисками консенсуса и лоббированием, к тем знаниям и навыкам, которые в наш век нужны для выстраивания отношений, поддержания здоровья, контрацепции, распоряжения своим временем, развития навыков критического мышления и распознавания пропаганды. Изучение глобального языка, освоение печатания на клавиатуре должны стать для подростков важнее деления в столбик и чистописания. В эпоху интернета моя роль как преподавателя изменилась. Мне более не нужно быть поставщиком информации, которую мои студенты могут самостоятельно загрузить из Сети. Моя главная задача скорее состоит в пропаганде научного стиля жизни, поощрения любопытства.

Теперь мы подходим к самому интересному: как можно на практике сделать научный стиль жизни привычным и распространённым? Разумные люди высказывали суждения о необходимости улучшения образования задолго до того, как я родился, однако вместо улучшения образования и распространения научного стиля жизни во многих странах, включая Соединённые Штаты, мы видим скорее обратное. Очевидно, есть более мощные силы, толкающие в противоположном направлении. Корпорации озабочены тем, что лучшее понимание некоторых научных вопросов негативно скажется на прибылях и, следовательно, имеют стимул мутить воду, подобно тому, как это делают некоторые религиозные группы, обеспокоенные тем, что любопытство может ослабить их влияние.

Первое, что учёные должны сделать, — быть проще, признать, что наши стратегии провалились, и разработать лучшую стратегию. У нас есть преимущество лучшей аргументации, но антинаучная коалиция лучше финансируется. И вдобавок (злая ирония!) она более научно организована! Если компания хочет повлиять на общественное мнение, чтобы увеличить свою прибыль, она пускает в ход научно обоснованные, высокоэффективные маркетинговые инструменты. Во что люди верят сегодня? Во что мы хотим, чтобы они верили завтра? Какие их страхи, надежды и другие эмоции можно использовать в наших интересах? Каков наиболее экономный способ изменения их представлений? Планируется кампания. Запускается. Дело сделано. Сообщение чрезмерно упрощено или вводит в заблуждение? Оно безосновательно дискредитирует конкурентов? Это в порядке вещей, и образ действий не будет иным, когда эта коалиция воюет с наукой. Учёные нередко наивно считают, что если на нашей стороне правда, мы сможем одолеть корпоративно-фундаменталистскую коалицию, применяя устаревшие ненаучные стратегии. Но на какие научные аргументы мы опираемся, заявляя о своих отличиях, когда мы только ворчим в факультетских столовых: «Нельзя опускаться так низко» или «Люди должны измениться» и зачитываем журналистам статистику? Учёные, по сути, говорят: «Использование танков неэтично, поэтому будем ходить на танки с мечами».

Чтобы учить людей тому, что представляют собой научные концепции и как научный подход улучшит их жизнь, надо подходить к делу научно. Нужны защищающие науку новые организации, использующие те же научные инструменты маркетинга и фандрайзинга, которыми пользуется антинаучная коалиция. Нам надо прибегать ко многим из средств, которые заставляют учёных чувствовать себя неловко, от рекламы и лоббирования до фокус-групп, выявляющих наиболее эффективные формулировки. Не следует, однако, опускаться до интеллектуальной нечестности, поскольку в этой битве у нас в руках самое мощное оружие из всех — факты.