Сингулярность

[25] Swanwick Michael, Vacuum Flowers, печаталось сериями в Isaac Asimov’s Science Fiction Magazine, December(?) 1986 – February 1987. Переиздано Ace Books, 1988.

[26] Thearling, Kurt, «How We Will Build a Machine that Thinks», семинар в Thinking Machines Corporation. Личное сообщение.

[27] Ulam, S., Tribute to John von Neumann, Bulletin of the American Mathematical Society, vol. 64, nr 3, part 2, May, 1958, p. 1–49.

[28] Vinge, Vernor, «Bookworm, Run!», Analog, March 1966, p. 8–40. Перепечатано в True Names and Other Dangers. Vernor Vinge, Baen Books, 1987.

[29] Vinge, Vernor, «True Names», Binary Star Number 5. Dell, 1981. Перепечатано в True Names and Other Dangers. Vernor Vinge, Baen Books, 1987.

[30] Vinge, Vernor, First Word, Omni, January 1983, p. 10.

Что, если сингулярность не наступит?

«Слайды» к моему выступлению на семинаре «Мысли о перспективах» (Long-Term Thinking), состоявшемуся 15 февраля 2007 года, можно найти по адресу: https://edoras.sdsu.edu/~vinge/longnow/

Необходимое уточнение

Дав своему выступлению такое название, я, разумеется, должен дать определение технологической сингулярности и кратко разъяснить, что имею в виду под этим термином.

Кажется весьма вероятным, что с имеющейся у нас технологией в самом ближайшем будущем мы сможем создать существа, превосходящие человека по всем интеллектуальным и творческим параметрам – или самим стать ими. События, которые произойдут после этого момента, – назовем его Технологической Сингулярностью, – мы можем себе вообразить не лучше, чем плоский червь – оперу.

Предыдущая фраза по определению лишает практического смысла любое долгосрочное планирование в будущем сингулярности.

Однако может случиться, что сингулярность не наступит, и в таком случае любое планирование, выходящее за пределы ближайших пятидесяти лет, может приобрести значительную практическую важность. В любом случае хороший автор научной фантастики (или планировщик возможного сценария) должен рассматривать альтернативные исходы.

Следует добавить, что альтернативы, которые я намерен сегодня обсудить, предполагают, что способ путешествия быстрее света не изобретен!

Важное замечание для тех, кто набредет на это выступление вне контекста:-) Я по-прежнему считаю Сингулярность наиболее вероятным из некатастрофических исходов в нашем ближайшем будущем.

Существует множество правдоподобных катастрофических сценариев (см. Мартин Рис, Our Final Hour), но сегодня я попробую рассмотреть те виды будущего без сингулярности, где человечество все-таки сможет выжить.

Век несбывшихся мечтаний

Правдоподобным объяснением «ненаступления сингулярности» является то, что мы еще не научились «делать нужный софт» (или, если вы склонны выражаться мистически, «находить душу в железе»). Вот некоторые возможные симптомы:

• Создание программного обеспечения (software creation) по-прежнему остается отраслью программотехники (software engineering).

• Программные проекты, создаваемые для использования возрастающей мощи аппаратуры, заканчиваются все более и более оглушительным крахом. Например:

• Провалы проекта настолько глубоки, что никаким количеством денег их невозможно замаскировать, единственный вариант – решительно отказаться от проекта.

• Сбои в крупных, полностью автоматизированных проектах приводят к катаклизмам (недосмотр человека-диспетчера приводит к столкновению двух самолетов, а глюк в полностью автоматизированной системе может свести в одной точке пространства-времени десяток самолетов).

• Такие провалы ведут к снижению спроса на более совершенную аппаратуру, которую невозможно должным образом использовать, что, в свою очередь, ведет к тому, что производители в своих планах откатываются назад. Фактически перестает действовать закон Мура – пусть даже не видно никаких физических барьеров на пути к дальнейшему совершенствованию микросхем.

• В результате прекращаются фундаментальные исследования в области материаловедения – в том числе из-за недостатка новых поколений компьютерных систем для поддержки таких исследований.

• Последними падут жертвой стагнации аппаратные улучшения простых и высокорегулярных структур (вроде хранилищ данных). В долгосрочной перспективе у нас будут необычайно хорошие (однако ничего прорывного) аудио-визуальные продукты для развлечений и огромные базы данных (но без программного обеспечения, позволяющего с ними качественно работать).

• Поэтому мало кто удивится, что обещанное появление сильного ИИ так и не произойдет, и другие прорывные технологии, нуждающиеся в чем-то вроде ИИ – скажем, нанотехнические сборочные установки, – тоже не появятся.

С учетом всего этого ранние годы описываемой эпохи будут, скорее всего, названы Веком несбывшихся мечтаний.

Более пространное описание этих ранних лет

• Год 2040-й. Фрики в домах престарелых бродят туда-сюда, чешут в затылках и жалобно спрашивают: «Ну, это самое… а где же сингулярность-то?»

• Но некоторые следствия могут казаться утешительными:

• Закон Эдельсона гласит: «Число важных идей, которые не были высказаны, со временем растет экспоненциально». Причину этого я вижу в головокружительном ускорении технологического прогресса и неспособности простых человеческих умов за ним угнаться. Если прогресс замедлится, у нас может образоваться достаточно времени, чтобы догнать его (хотя я подозреваю, что базы данных биологической науки все равно будут наполняться быстрее, чем мы будем успевать их анализировать).

• Может быть, найдется наконец время пересмотреть по-настоящему неуклюжие программы, написанные в прошлом веке, и все переписать, но на этот раз чисто и рационально. (Ага, как же.)

• С другой стороны, шансы человечества пережить столетие могут стать более сомнительными:

• Останутся все те же угрозы гибели окружающей среды и нехватки ресурсов.

• Останутся угрозы глобальной войны. В ранние годы XXI века нас отвлекла и напугала (не без оснований) угроза ядерного терроризма. Мы забыли, как прошли узкий коридор 1970–1990-х, когда в течение нескольких дней могли быть пущены в ход десятки тысяч ядерных ракет, причем, возможно, без какого-либо сознательного политического решения. Возвращение к ВГУ (Взаимное Гарантированное Уничтожение) сейчас весьма правдоподобно, а если добавить к этому губительное воздействие на окружающую среду, оно становится весьма вероятным убийцей цивилизации.

Представление о возможностях, открываемых «долгим сейчас» (Long Now)

Предположим, что человечество все же переживет XXI век. После выхода из века несбывшихся мечтаний – каковы будут перспективы долгой человеческой эры? Я хотел бы проиллюстрировать некоторые возможности с помощью схем, которые покажут «долгое сейчас» во всех его аспектах – от десятков тысяч лет перед нашим временем до десятков тысяч лет после него – причем покажут его «в целом», без прямой ссылки на ход времени (что вполне соответствует размышлениям об Эре Человека как едином «долгом сейчас»).

Вместо того, чтобы вырисовывать график какой-то переменной, скажем, населения, как функции от времени, я буду строить график энерговооруженности в сопоставлении с численностью населения. Кстати о примерах: наша текущая ситуация показана на рис. 1.

Рис. 1

Согласен, выглядит она не слишком обнадеживающе. Пожалуй, больше всего впечатляет, что в глобальном масштабе мы, люди, – народ упорный. Даже Черная Смерть лишь слегка отщипнула от прогрессивного роста энерговооруженности/населения. Возможно, это отражает истинное положение вещей, но может быть и так, что мы не видим всей картины. (Обратим внимание, что экстремальные выходы вправо (население) или вверх (энерговооруженность и, соответственно, деструктивный потенциал) для земной цивилизации, вероятно, были бы катастрофой.)

Без наступления сингулярности существуют три возможности (три полноправных сценария):

Сценарий 1: Возвращение к ВГУ

Я сказал, что постараюсь не затрагивать экзистенциальных катастроф, но хочу подчеркнуть, что они все еще возможны. Как избежать их – эта мысль должна стоять на первом месте при размышлении о долгосрочных перспективах.

• Этот «один день безумия (ВГУ)», идущий назад по верху диаграммы, должен быть знаком тем, кто пережил эру следующих документов:

Рис. 2

• «Судьба земли» Джонатана Шелла.

• Объявление ТТАПС о ядерной зиме.

• (Подобно многим из вас, я скептически отношусь к этим двум источникам. С другой стороны, по поводу эффекта обмена массивными ядерными ударами существует множество вопросов. Изощренная логика планирования ВГУ постоянно поднимает порог «приемлемого ущерба» и привлекает специалистов-интеллектуалов и невероятные ресурсы к доказательству того, что могут быть допустимы даже еще бо́льшие уровни разрушения. Я не в состоянии придумать никакой другой угрозы, где гений человечества так явственно нацелен на наше собственное уничтожение.)

Сценарий 2: Золотой век

Рис. 3

(Сценарий для уравновешивания пессимизма «Возвращения к ВГУ».)

• В нашей эпохе есть тенденции, говорящие в пользу этого оптимистического сценария:

• Пластичность человеческой психики (даже за время существования одного поколения). Когда у людей есть надежда, информация и общение, просто диву даешься, как быстро они начинают вести себя с мудростью, далеко превосходящей мудрость элит.

• Эти тенденции усиливаются благодаря Интернету, даже если мы не будем двигаться к сингулярности. Моя последняя книга, «Конец радуг», может служить иллюстрацией этого наблюдения (в зависимости от того, как интерпретировать признаки появления игроков, начинающих выходить за пределы человеческой природы:-)).

• Этот сценарий подобен тому, что приводит Гюнтер Стент в работе «Приближение Золотого века, взгляд на окончание прогресса» (The Coming of the Golden Age, a View of the End of Progress), – только в моем варианте у нас будут тысячи лет, чтобы разобраться с последствиями закона Эдельсона.

• Уменьшение численности населения (уход траектории влево) – вполне мирная и положительная тенденция, в конечном счете приводящая к универсальному высокому стандарту жизни.

• В самой долгосрочной перспективе имеется некоторый рост и энерговооруженности, и населения.

• Наша цивилизация очевидным образом приходит к долговременному убеждению, что многочисленное и удовлетворенное своей жизнью население – лучше, чем малочисленное и неудовлетворенное. Существует и обратная точка зрения. Вероятно, со временем будут испробованы обе возможности.

• Так что же произойдет на дальнем конце этого «долгого сейчас» (20 или 50 тысяч лет спустя)? Даже без сингулярности кажется разумным предположить, что в какой-то момент наш вид каким-то образом усовершенствуется.

• Политическое предположение (применимое к большинству из этих сценариев): [молодые] старики полезны для будущего человечества! Поэтому исследования в области продления жизни могут оказаться важнейшим фактором долговременной безопасности рода человеческого.

• Это предположение впрямую отрицает утверждение, будто многочисленность стариков омертвляет общество. Я говорю не о тех беспомощных стариках, которых мы с незапамятных времен знаем (и которыми постепенно становимся). Мы понятия не имеем, на что похожи молодые глубокие старики, но их существование может нам дать нечто вроде тех преимуществ, какое давало первобытным людям наличие очень старых членов племени (от 35 до 65 лет).

• Перспектива «долгого сейчас» представляется очень естественной тому, кто ожидает, что не только его пра-пра-пра… правнуки будут жить через пятьсот лет, но, возможно, и он сам тоже.

• И когда мы углубимся далеко в будущее, то у нас будут не только дальние перспективы, но и люди, которые жили в отдаленном прошлом.

Сценарий 3: Колесо времени

Рис. 4

Боюсь, что этот сценарий куда вероятнее «Золотого века». «Колесо времени» основано на том факте, что Земля и Природа не статичны, а наша технология может вызвать ужаснейшие разрушения. Раньше или позже, даже при самом аккуратном планировании, произойдет мегакатастрофа, и цивилизация падет (или значительно пошатнется).

Таким образом, на этой диаграмме мы видим циклы катастроф и восстановлений.

• Какова будет амплитуда таких циклов (масштаб потерь населения и гибели технологий)?

• Какова будет длительность таких циклов?

Есть целый ряд предположительных ответов на эти вопросы (в основном, касающихся первого восстановления):

• «Вызов человеческому будущему» (The Challenge of Man’s Future) Гаррисона Брауна.

• «О термоядерной войне» (On Thermonuclear War) Германа Кана.

• «Глубина в небе» (A Deepness in the Sky) Вернора Винджа, где наиболее постоянные важные социальные роли играют археологи и копатели программных свалок.

• (На самом деле я хотел бы видеть здесь больше ссылок, и гораздо лучших, чем эти.)

Но мы почти ничего не знаем о таких циклах – кроме того, что в худшем случае на Земле может погибнуть все живое.

Как поступать с самыми страшными неопределенностями?

В этом выступлении нередко повторялась ключевая фраза «Кто знает?». Чаще всего эта мантра применяется к самым серьезным проблемам, встающим перед нами:

• Насколько опасно на самом деле ВГУ? (В конце концов, «оно дало нам пережить XX век».)

• Насколько экзистенциальна угроза изменений, происходящих в окружающей среде?

• Как быстро может оправиться человечество от крупных катастроф? Возможно ли вообще полное восстановление? От каких именно катастроф труднее всего оправиться?

• Насколько близка наша технология к тому, чтобы ВГУ ушло из рук национальных государств, и возможность убить нас всех попала в руки раздражительных индивидов?

• Каков будет долговременный эффект от присутствия в обществе больших количеств молодых стариков?

• Какое влияние оказывает (подставить название любой черты социального устройства или любой опасности) на перспективу долговременного выживания человечества?

Мы как могли разобрались с планированием сценариев. Но есть еще и другое средство, и оно просто чудесно, если оно у вас есть: широкий опыт.

• Человеку не нужно пробовать все наркотики, чтобы знать, какие из них смертельны.

• В природе человеке не заложен способ оценки риска различных диет и упражнений. Даже родители его могут ничего полезного ему не сообщить, но некоторые указания может дать фрамингемское исследование (см. сайт http://en.wikipedia.org/wiki/Framingham_Heart_Study).

К сожалению, диапазон нашего опыта опасно узок, поскольку мы, по сути, можем наблюдать за одним-единственным экспериментом. В «долгом сейчас» – получится ли у нас лучше? Сценарий «Золотой век» позволил бы провести щадящие эксперименты с размером популяции и долгожительством. (Фактически кое-что из этого можно увидеть там, где моя диаграмма Золотого века дает изгиб.)