Воспитание машин. Новая история разума

Первые цифровые платформы: интеллект из больших данных

Цифровые платформы использовали машинное обучение с момента своего возникновения во времена «бума доткомов». Так, появившийся в 1998 году Google мгновенно завоевал популярность пользователей качеством своего поиска, основанного на алгоритме рейтингования всех страниц интернета с помощью анализа гигантского графа ссылок между ними. Это позволяло Google выводить на первую страницу наиболее авторитетные источники информации по любому вопросу, чего не могли предложить остальные поисковики, работающие лишь по ключевым словам. Так машинное обучение помогло Google объединить в своем индексе предметные знания всех производителей контента в интернете – через ссылки на авторитетные источники в html-страницах.

Для эффективного использования своего гигантского поискового индекса Google внедрил инновационную технологию массовой распределенной обработки данных (Map Reduce), создав первый поисковый суперкомпьютер, распределенный по нескольким дата-центрам. Но своим главным успехом Google обязан другой инновации – AdWords, превратившей его в цифровую платформу для рекламного бизнеса. С ее помощью Google предоставил доступ к глобальной аудитории мелким рекламодателям, вплоть до индивидуальных предпринимателей. Он сформировал и обслуживает «длинный хвост» рекламного рынка, тем самым увеличивая его объем на $135 млрд в год (¼ мирового рынка рекламы)[62]. Масштабирование сервиса достигается за счет использования предметных знаний самих рекламодателей: аукционный алгоритм автоматически отбирает наиболее интересные для аудитории объявления и определяет их справедливую цену.

Таким образом Google сформировал новую, гораздо более эффективную, чем средства массовой информации, инфраструктуру рекламного рынка, одновременно и снизив издержки, и увеличив емкость рынка. И все за счет алгоритмов обработки больших данных. Выручка на одного работника в Google составляет $1,4 млн – в 7 раз выше, чем в среднем по США. Всю основную работу делают алгоритмы.

Другим примером первого поколения цифровых платформ является Amazon, оператор «длинного хвоста» в ретейле. Начиналось все в 1994 году с уникального предложения «бесконечной книжной полки» – книжного разнообразия, недоступного для офлайновых магазинов. Предложение пришлось пользователям по душе, бизнес быстро расширялся, и сегодня через Amazon в США совершается уже половина всех онлайн-покупок.

«Секретным оружием» Amazon является его рекомендательная система, помогающая пользователям ориентироваться во всем этом разнообразии. И основана она опять-таки на алгоритмах машинного обучения, превращающих обычные учетные данные – кто что купил – в персональные рекомендации: кому что может быть интересно. В результате – большее удовлетворение покупателей и расширение рынка для продавцов, ведь теперь любой нишевой товар может найти своего покупателя.

В отличие от Google, Amazon приходится иметь дело с реальными товарами и организовывать логистику в реальном мире, поэтому выручка на одного сотрудника в Amazon ненамного выше средней. Но это пока! Потому что Amazon сегодня активно инвестирует в искусственный интеллект и робототехнику, вводя в строй полностью автоматизированные склады, экспериментируя с доставкой товаров роботами и дронами и открывая офлайн-магазины Amazon Go без продавцов и кассиров. Этот тренд мы более подробно обсудим ниже.

В целом же в 1990-х и 2000-х годах машинный интеллект фокусировался на извлечении из больших объемов данных структурированных знаний, которые можно использовать для персонализации разного рода услуг конечным пользователям. Огромные массивы структурированных знаний накоплены в проприетарных графах знаний цифровых платформ Google Knowledge Graph, Amazon Evi, Microsoft Satori и используются во многих продуктах, в частности голосовыми помощниками Google Assistant, Amazon Alexa и Microsoft Cortana.

Современные цифровые платформы: сенсорный интеллект

Голосовые помощники стали новацией 2010-х годов в качестве нового интерфейса пользователя в эпоху смартфонов. Они, как и безлюдные магазины Amazon Go, обязаны своим появлением новому поколению алгоритмов машинного обучения – так называемому глубокому обучению искусственных нейронных сетей. Технологический прорыв в машинном обучении в 2010-х, известный как революция глубокого обучения, связан с достижением компьютерами критической производительности 1011 FLOPS, сравнимой с человеческой, по доступным ценам (рис. 14).

Это, конечно, не означало автоматически появления искусственного интеллекта, как он когда-то задумывался его отцами-основателями. Для этого у человечества пока что банально не хватает соответствующих знаний, о чем мы еще поговорим в главе 5. Мощности сегодняшних суперкомпьютеров достигают 1016 FLOPS, однако это до сих пор не привело к появлению сильного ИИ. Но кое-какие разработки 1980-х и 1990-х годов, для которых в свое время просто не хватало вычислительных мощностей, чтобы выйти на уровень отдельных когнитивных способностей, сравнимый с человеческим, «выстрелили» именно в этот момент. Речь идет об обучении некоторых типов искусственных нейронных сетей, разработанных для работы с изображениями (сверточные нейронные сети) и временными сигналами (сети с долговременной памятью).

Оказалось, что просто за счет увеличения количества слоев в таких (глубоких) нейросетях и увеличения объема данных для их обучения, для чего теперь имелись вычислительные мощности, качество распознавания картинок и звука может достигать человеческого уровня. В итоге на протяжении 2010-х годов, благодаря технологиям глубокого обучения, машины, говоря простым языком, научились видеть и слышать не хуже человека.

Соответственно появилась масса новых возможностей для замены человека машинами – там, где люди работали «умными сенсорами»: контролерами, охранниками, операторами колл-центров, и в других профессиях с относительно простой бизнес-логикой. Отсюда – появляющиеся сегодня проходные без охранников, магазины без продавцов, такси без водителей, безлюдные колл-центры и голосовые помощники в смартфонах и умных колонках.

И это еще только начало. Потенциальный рынок приложений слабого ИИ, наделенного сверхчеловеческими сенсорными возможностями по доступным ценам, чрезвычайно большой. Он касается самых массовых профессий – продавцов, кассиров, водителей и т. д., поэтому обещает большой экономический эффект. Оказывается, люди, по крайней мере многие из них, не так уж и незаменимы.

Отложив обсуждение этой важнейшей проблемы до следующей главы, зададимся пока одним чисто практическим вопросом о драйверах развития ИИ. Есть ли экономическая целесообразность в дальнейшем совершенствовании технологий машинного обучения или бизнес может ограничиться достигнутыми успехами, сосредоточив усилия на бизнес-инновациях, то есть на освоении уже открывшихся благодаря слабому ИИ рынков? От ответа на этот вопрос зависит, в частности, объем вложений в разработку сильного ИИ и соответственно время появления последнего.

Представляется, что в силу упомянутого выше эффекта положительной обратной связи тем, кто хотел бы освоить новые рыночные ниши с помощью существующего слабого ИИ, нет смысла ждать дальнейших инноваций. Надо спешить, так как в каждой такой нише действует принцип «победитель забирает все». Так что в 2020-х годах нас ожидает инвестиционный бум новых доткомов, использующих разработанные в 2010-х технологии глубокого обучения.

Драйвером сильного ИИ выступают сегодня уже сформировавшиеся цифровые платформы, обслуживающие глобальные потребительские рынки, те, для кого голосовые помощники представляют собой важнейший канал общения с их пользователями. Ведь для массового пользователя диалог на естественном языке – максимально удобный способ бытового общения со смартфонами, навигаторами, умными колонками и другой домашней электроникой. Именно через своих электронных ассистентов – Google Assistant, Alexa, Cortana и им подобных – современные платформы продвигают свои сервисы в массы. Умные колонки сегодня – один из наиболее быстро растущих сегментов потребительской электроники, поэтому в сегменте голосовых ассистентов наблюдается очень сильная конкуренция. Крупнейшие интернет-компании тратят существенную часть доходов на совершенствование своих голосовых ассистентов.

Разговорный интерфейс – путь к сильному ИИ

Но несмотря на все эти вложения, качество разговорного интерфейса до сих пор оставляет желать лучшего. При этом и распознавание речи у голосовых помощников, и качество их синтетической речи уже вполне удовлетворительны. Их можно и дальше улучшать, в том числе за счет камер, распознающих мимику, жесты и эмоции пользователя. Проблема не в распознавании речи, а в понимании ее смыслового содержания и умении вести осмысленную беседу, то есть в создании того, что можно назвать разговорным интеллектом.

Выясняется, что одного сенсорного интеллекта для общения на естественном языке вовсе недостаточно. Распознавание речи лишь самый поверхностный слой настоящего разговорного интеллекта, перевод звукового сигнала в текст. Конечно, благодаря глубокому обучению в машинной обработке текстов тоже имеются большие успехи. Это видно хотя бы по довольно высокому качеству современного машинного перевода. Однако оказывается, что излагать одно и то же содержание на другом языке и делать умозаключения на основе этого содержания – задачи разного уровня сложности. Первое требует наличия у машины семантического пространства, в котором отражается содержание предложений, тогда как второе предполагает умение оперировать в этом семантическом пространстве, прокладывать в нем осмысленные траектории – рассуждения.

Разговорный интеллект должен обучаться формировать осмысленное поведение в семантическом пространстве, понимая на каждом шаге цели и позиции всех участников диалога, включая свои собственные. Значит, он и сам должен уметь ставить перед собой какие-то цели и добиваться их достижения. Иными словами, машинный перевод еще можно отнести к задачам распознавания образов – отображению исходного текста в его семантическое представление, а последнего – в текст на другом языке. Разговорный же интеллект относится к гораздо более сложному классу задач – обучению адаптивному целесообразному поведению, включая рациональное мышление как разновидность поведения в семантическом пространстве и умение осознанно манипулировать смыслами. А это – прямой путь к настоящему сильному ИИ.

Современное машинное обучение пытается найти решение этой задачи с помощью все тех же глубоких нейросетей. У всех на слуху недавние победы машин во всевозможных стратегических играх, от культовой древней игры го до новомодных StarCraft 2 и Dota 2, где требуется реагировать на действия соперников в реальном времени и строить гипотезы о том, что происходит в ненаблюдаемых областях игрового поля. Эти достижения демонстрируют способность глубоких нейросетей формировать полезные поведенческие навыки и строить выигрышные стратегии в виртуальных мирах. Но современные алгоритмы пока что не позволяют машинному интеллекту вырваться из этих виртуальных миров в реальный. Обучение нейросетей происходит сегодня слишком медленно, и соответствующий «жизненный опыт» за приемлемое время удается набрать лишь в виртуальном мире за счет существенного ускорения темпа игры. Эти алгоритмы невозможно перенести на обучение роботов в реальном мире, где у них не будет столько времени на обучение и стольких виртуальных жизней, которыми заплачено за неудачные решения.

К тому же, если вернуться к разговорному интеллекту, у нас пока нет виртуальных миров для оттачивания разговорных навыков. Ассистентам надо учиться рассуждать и вести диалоги, а для этого – пробовать самим генерировать варианты ответов в различных сценариях. Привычное обучение на больших корпусах готовых диалогов здесь не подходит. Надо, чтобы кто-то оценивал качество каждой реплики в бесчисленных ветвящихся вариантах развития диалогов, из которых лишь очень немногие могут присутствовать в обучающей выборке. А на это пока что способны только живые люди и лишь в реальном времени.

Резюмируя, можно сказать, что существующий уровень машинного интеллекта явно не устраивает лидеров цифровой революции, которые остро нуждаются в разговорном интеллекте человеческого уровня и будут вкладываться в его создание, чтобы не отстать от конкурентов. Рынок разговорного интеллекта удваивается каждые 2 года и в 2020 году должен был превысить $12 млрд. Так что спрос на сильный ИИ в современной экономике уже сформировался, и мы понимаем, кому и для чего он сегодня нужен. Следовательно, этим уже имеет смысл заниматься, хотя еще совсем недавно после всех пережитых разочарований задача построения сильного ИИ всерьез не воспринималась, а разговоры о нем считались ненаучными.

Цифровые платформы будущего: интеллект роботов

Разговорный интеллект «здесь и сейчас» нужен тем, кто сегодня зарабатывает в основном за счет персонализации рекламы. Что собой представляют те же электронные витрины Amazon, как не набор рекламных баннеров, сделанных с учетом предпочтений каждого покупателя? Между тем весь рекламный рынок, $560 млрд, составляет лишь 0,5 % мирового ВВП. Так что рыночный потенциал для применения ИИ гораздо шире, чем рынок умных программных ассистентов.

Но для радикального расширения области применений ИИ программным агентам предстоит выйти из виртуального мира в реальный, превратиться в роботов. Сенсорный интеллект агентов предстоит дополнить моторным интеллектом роботов – способностью активно взаимодействовать с миром, иметь предиктивную модель внешнего мира и своих действий в нем, чтобы, например, понимать, что стул или чашку можно переставить с места на место, а шкаф или машину лучше и не пытаться, или что, если чашку наклонить, ее содержимое выльется, или что двери иногда открываются легко, а иногда нет и, если они заперты, в них надо не ломиться, а стучаться. Последнее уже относится к области социального интеллекта – понимания того, как принято себя вести в обществе, чего от тебя ждут в тех или иных ситуациях, «что такое хорошо и что такое плохо».

Все эти элементарные знания, известные любому ребенку, невозможно запрограммировать, им надо обучаться. И обучаться активно, методом проб и ошибок, как это делают дети. А для этого у роботов должна быть искусственная психика с врожденным любопытством, настроенная, как и у детей, на постоянное обучение, чтобы как можно скорее набраться опыта и научиться достигать своих целей в этом сложном и непредсказуемом поначалу мире. Искусственная психика роботов должна быть настолько универсальна, чтобы она могла обеспечить эффективное обучение всем видам интеллекта: сенсорному, моторному, социальному и разговорному. Ведь и дети обучаются ходить, говорить и вести себя правильно практически одновременно.

В математике бывает, что иногда легче решить задачу в более общей постановке, которая лучше отражает суть проблемы. Возможно, разработка искусственной психики – тот самый случай: вместо множества специализированных систем, обучающихся разным задачам по разным лекалам (подход, принятый сегодня в глубоком обучении), лучше разработать единый общий интеллект (Artificial General Intelligence, AGI).

Резюме

Итак, цифровая экономика – это экономика платформ, рост влияния которых на экономику мы наблюдаем с начала XXI века. Именно платформы больше всех заинтересованы в использовании и развитии технологий ИИ. Сегодня основным драйвером развития сильного ИИ служит спрос на разговорный интеллект агентов. Через какое-то время появится еще более мощный драйвер – спрос на искусственную психику роботов.

Мы рассмотрим подходы к построению сильного ИИ чуть позже, в главе 5. Пока же следует обсудить силы, которые будут препятствовать его появлению, потому что кроме тех, кто заинтересован в инновациях, всегда есть и те, кто им сопротивляется, причем не без оснований. Потому-то каждая крупная технологическая революция сопровождается революциями социальными. Смена технологического ландшафта закономерно приводит к трансформации социальной надстройки.

Глава 4

Социальные проблемы цифровой революции

Кто кем повелевает? Технология нами или же мы – ею?

СТАНИСЛАВ ЛЕМ

Перед нами открываются потрясающие возможности, замаскированные под неразрешимые проблемы.

ДЖОН ГАРДНЕР

Проблемы реальны

Переход к индустриальному укладу, как мы знаем, привел к драматическим изменениям в жизни людей. По мере того как человека заменяли станки, исчезали старые и появлялись новые профессии. Крестьянские массы, теснимые тракторами, двинулись в города. Множество людей лишилось привычных источников существования – настала эпоха, красочно описанная Карлом Марксом в первом томе «Капитала». XX век с утверждением индустриального уклада наглядно продемонстрировал, к каким последствиям могут привести и классовая борьба за дележ возросшего общественного пирога, и имперские схватки за передел мировых рынков.

Было бы наивно ожидать, что предстоящий переход к цифровому укладу пройдет плавно, без подобного рода турбулентностей. Как и прежде, нас ожидают новые «разборки» между трудящимися, теснимыми роботами, и их работодателями, стремящимися увеличивать прибыль акционеров за счет сокращения рабочей силы. Эти отношения будут выясняться в политическом поле с активным участием государства, то есть бюрократии, имеющей свои собственные интересы в отношении искусственного интеллекта. Аналогично в международных отношениях странам, обладающим передовыми технологиями искусственного интеллекта, будет трудно удержаться при разделе новых рынков от силовых угроз, в том числе с использованием боевого ИИ.

Наконец, в ожидании сильного ИИ появится абсолютно новая «экзистенциальная» угроза роду людскому в целом – столкновение с интеллектом, который грозит в конце концов превзойти человеческий. И тогда вопрос о том, кто кем управляет и будем ли мы хозяевами своей судьбы в прекрасном новом мире, встанет во весь рост.

Все эти проблемы потребуют своего решения, и от этих решений будут во многом зависеть судьбы человечества. Далее в этой главе мы последовательно обсудим изменения отношений между трудом и капиталом, гражданами и государством, государствами между собой и, наконец, между людьми и искусственным интеллектом с появлением последнего.

ИИ-безработица

Первое столкновение людей с искусственным интеллектом произойдет очень скоро, еще в эпоху слабого ИИ. Слишком много людей сегодня заняты тем, что Карл Маркс называл «частичным трудом», когда от человека требуется лишь какой-то небольшой набор простых навыков.

До недавнего времени компьютерам были доступны только легко формализуемые задачи: вычисления, поиск в базах данных, форматирование документов и т. д. Соответствующие программы существенно облегчали работу менеджеров, при этом не заменяя их самих, так как касались лишь небольшой части выполняемых ими служебных обязанностей. С этим, в частности, связан хорошо известный парадокс, что постепенное насыщение компьютерами экономики не приводило до сих пор к существенному росту производительности труда[63].

Появление сенсорного интеллекта человеческого уровня, способности компьютеров распознавать объекты и ситуации в реальном мире не хуже людей, многое меняет. Под угрозой оказались представители массовых профессий из разряда «контролеров» (продавцы, охранники, кассиры) или даже простейших «контроллеров», как в случае с шоферами[64]. В целом к 2030 году в США может быть автоматизировано около 40 % рабочих мест[65].

С появлением сильного ИИ ситуация еще более усугубится. Вслед за безлюдными сборочными цехами, складами и магазинами появятся безлюдные заводы, робофермы и строительные площадки, где дома будут печатать гигантские 3D-принтеры. Люди станут массово вытесняться из сферы производства и сервисов, как крестьяне вытеснялись с полей в ходе промышленной революции. Обслуживанием покупателей займутся программные агенты и роботы с развитым разговорным интеллектом, безграничными знаниями и столь же безграничным терпением.

Возникает естественный вопрос: а кто в таком случае будет этими самыми покупателями? Владельцы и управляющие роботизированными активами? Немногочисленные представители творческих профессий, уцелевшие в конкуренции с роботами? А как насчет остальных? Они же не станут молча курить в сторонке!

Здесь на самом деле скрыты два разных вопроса:

● Как поступать с людьми, вытесняемыми роботами здесь и сейчас?

● Какая роль в будущей цифровой экономике останется за людьми, а что отойдет роботам?

Первый вопрос в принципе решаем в виде той или иной разновидности налога на роботов. Например, робот, нанимаемый вместо человека, пожизненно «платит» последнему достойную пенсию через отчисления в специальный общественный пенсионный фонд[66]. Это несколько замедлит темпы роботизации, так как внедрять роботов станет экономически выгодно лишь тогда, когда они будут не просто эффективнее человека, а, грубо говоря, вдвое более эффективными. Зато можно будет обойтись без никому не нужных социальных потрясений. Для тех, кто не привык бездельничать и хотел бы найти себе новое занятие по душе, повысив заодно и свой заработок, будут организованы курсы по освоению новых профессий. Тех, кого пенсионерский стиль жизни устроит, будут ждать туризм и индустрия развлечений. Эти отрасли экономики станут соответственно расти и расширять рынок труда.

Здесь мы уже начинаем отвечать заодно и на второй вопрос – о роли и месте людей в будущем. Ведь кроме производства и распределения продуктов есть еще и постоянно расширяющаяся сфера человеческого общения. Все-таки люди обычно предпочитают общаться со «своими», и роботы в этом плане вряд ли смогут составить им существенную конкуренцию.

Кроме общения между собой за людьми останется очень важная социальная роль «воспитателей роботов», состоящая в передаче им наших человеческих ценностей. Ведь успех будущей человеко-машинной цивилизации целиком зависит от того, насколько хорошо роботы будут разбираться в людях. Как мы уже упоминали и о чем будем более подробно говорить в следующей главе, обучаться персональные агенты и роботы будут через подкрепление, то есть одобрение своих действий. Но со стороны кого? Конечно же, людей, через постоянные поощрения правильных поступков в самых разных формах – от оплаты услуг в соответствии с их качеством до обычных слов благодарности.

К этому же разряду следует отнести и будущую цифровую демократию. Сегодня люди «играют в политику» лишь изредка и в массе своей как любители, так как на это у них попросту нет времени: все заняты своей основной работой. Но в будущем определение общественного мнения по любому вопросу станет, во-первых, предельно упрощенным, а во-вторых, превратится в норму жизни, поскольку только таким образом люди смогут сохранить за собой управление своей судьбой, оставив за роботами исполнение их социальных заказов. Цифровая демократия станет новым интерфейсом между распределенным человеческим и машинным разумом, через который будет достигаться компромисс между индивидуальными желаниями и общественными возможностями, станут определяться приоритеты, цели и долгосрочные планы в цифровой экономике. А также будет обеспечиваться безусловное исполнение коллективно принятых решений. Здесь мы естественным образом переходим к вопросу о роли государства в эпоху сильного ИИ.

ИИ-патернализм

С одной стороны, ситуация с ИИ-безработицей показывает, что без активного вмешательства государства в поддержание общественной стабильности в переходную эпоху нам не обойтись. С другой стороны, с искусственным интеллектом связано множество страхов и фобий в контексте государства как «большого брата». Действительно, для авторитарных государств, которых, к слову, сегодня в мире больше, чем демократических, ИИ предоставляет великолепный инструмент тотального контроля над своими гражданами. Например, в Китае с его системой социального рейтинга право вмешательства государства в частную жизнь вообще не ставится под сомнение. Но и в менее авторитарных странах власть «в интересах народа» всегда найдет легальные способы, как поставить ИИ на службу своим интересам[67]. Ведь у государственной бюрократии и силовых структур есть и собственные амбиции при разделе общественного пирога.

Технологии ИИ позволяют государству не просто следить за настроениями и поступками граждан, но и активно влиять на общественное мнение в пользу тех или иных групп интересов, например с помощью армии искусственных личностей в социальных сетях. А поскольку соответствующие разработки силовых ведомств засекречены, они с большим трудом поддаются общественному контролю, если вообще поддаются.

Еще более опасны попытки бюрократии переводить стрелки общественного недовольства с больной головы на здоровую, списывая свои неудачи и провалы на разного рода внутренних или внешних врагов. Это нисколько не способствует выявлению и решению реальных проблем и в долгосрочной перспективе лишь усугубляет нестабильность в обществе. Более того, атмосфера «осажденной крепости» содействует безудержной гонке вооружений, опасность которой с появлением боевого ИИ возрастает многократно.

Действительно, возникновение и быстрое развитие ИИ часто сравнивают с изобретением атомного оружия, которое впервые поставило под вопрос физическое выживание человечества. Начинающаяся на наших глазах гонка за искусственным интеллектом очень напоминает атомную и ракетную гонку вооружений второй половины XX века. Автономные боевые роботы, управляемые по глобальной оперативной сети искусственными стратегами, действительно способны качественно изменить баланс сил в пользу государств, имеющих доступ к соответствующим технологиям.

Пока что военные успокаивают общественность тем, что, мол, окончательное решение всегда остается за человеком. Но все прекрасно понимают, что это временный вариант, продиктованный эпохой слабого ИИ, так как именно преимущество в скорости и качестве принятия решений станет главным достоинством боевого сильного ИИ[68]. Военные в ходе начавшейся гонки будут вынуждены постепенно передавать ему право принятия смертоносных решений, поднимаясь от уровня отдельных боевых единиц, как это уже происходит с самонаводящимися ракетами, до боевых тактических групп и далее – на всё более высокие оперативные и стратегические уровни. А поскольку вся логика принятия подобных решений будет основана на обработке гигантских объемов разнородной информации, недоступных человеческому разуму, перепроверить правильность решений искусственных стратегов в условиях ограниченного времени будет попросту невозможно.

При таком развитии событий повышается вероятность того, что человечество окажется втянутым в масштабную ядерную катастрофу в силу естественного стремления искусственных стратегов достичь поставленных военным руководством «национальных целей». Ведь недоверие к противнику и стремление превентивно нейтрализовать его коварные планы – профессиональные качества военных, от которых они неизбежно перейдут и искусственным стратегам.

Мало того, что интересы политического руководства могут кардинально расходиться с интересами граждан. При постановке задачи искусственным стратегам самое сложное – не определить цели, а сформулировать ограничения, при которых достижение этих целей все еще имеет смысл. В известном рассказе У. Джекобса «Обезьянья лапка» этот древний талисман неизменно исполнял все желания своих хозяев, но делал это формально, без учета негласных ограничений – тех самых человеческих ценностей. Так, в ответ на желание очередного хозяина талисмана получить 200 фунтов чек на эту сумму был вручен ему на следующий же день, но в качестве компенсации за жизнь внезапно погибшего в результате несчастного случая любимого сына. Боевой ИИ в конечном итоге может привести мир к ситуации, когда ядерные кнопки окажутся в таких «обезьяньих лапках».

Гипертрофированная борьба с внутренними и внешними врагами в ущерб остальным функциям государства подобна аутоиммунным заболеваниям или в острой форме – цитокиновому шторму, когда защитная система организма начинает поражать не только его врагов, но и свои собственные органы, в том числе жизненно важные. Подобное развитие событий может быть смертельно опасным и для общественных организмов. Достаточно вспомнить развал Советского Союза при всей мощи его армии, способной сокрушить любого агрессора. Излишняя концентрация на внешних угрозах заслонила гораздо более реальную проблему – потерю привлекательности режима в глазах своих граждан из-за систематического игнорирования их нужд со стороны государства. А это, в свою очередь, стало следствием недостатка обратных связей в закостенелой административно-командной системе управления.

Соответственно лекарство от подобных аутоиммунных общественных заболеваний следует искать в развитии цифровой демократии, интенсивных сетевых коммуникациях, нацеленных на выявление и гармонизацию разнообразных нужд всех слоев населения. У разных общественных групп есть свои интересы и представления о том, на что и в каких пропорциях следует тратить общие ресурсы. И общество должно уметь вырабатывать такую политику, которая минимизирует степень народного недовольства.

В индустриальном обществе эта задача зачастую решалась в присущей ему парадигме массового производства, то есть навязывания всему обществу единой идеологии, подчинения всех меньшинств монолитному большинству с использованием чисто силовых методов. Цифровой уклад подразумевает совсем другой подход: использование реального разнообразия общества с помощью новых цифровых технологий, не в последнюю очередь – ИИ.

Например, уже сегодня имеется техническая возможность с минимальными издержками организовать массовые электронные голосования, обеспечив доверие к их результатам. (Применяя технологии шифрования с открытым ключом, когда каждый респондент может по своему частному ключу проверить, правильно ли учтен его голос в электронной системе голосования, не раскрывая при этом тайну голосования.) Сюда же, видимо, можно отнести и постоянно развивающиеся технологии распределенных реестров, математически гарантирующие общественную защиту любых транзакций.

В цифровом укладе государство сможет использовать национальные цифровые платформы для структурирования общественного мнения вокруг приоритетных вопросов, организации по ним качественной экспертизы и выработки совместных решений, вплоть до возможности самостоятельного распределения всеми экономическими субъектами своих налогов по основным бюджетным статьям, причем по математически обоснованным схемам оптимального фондирования публичных нужд, например используя квадратичное фондирование (quadratic funding), наилучшим образом учитывающее истинные предпочтения всех граждан[69], вместо нынешних сборов пожертвований для больных детей с помощью СМС-сообщений на фоне кулуарного распределения бюджетов в парламентских комитетах.

На платформах цифровой демократии интеллектуальные агенты смогут «дирижировать» процессами принятия коллективных решений, взвешивая мнения экспертов с учетом уровня их компетентности и знакомя граждан с наиболее весомыми аргументами за и против по любому вопросу подобно тому, как Google сегодня отбирает из сети наиболее релевантную информацию, а Amazon рейтингует и рекомендует товары на своих электронных витринах. Технологии сильного ИИ помогут людям формировать их личные мнения по любому вопросу в процессе диалога, в котором искусственный интеллект сможет суммировать разные точки зрения, находить в них скрытые противоречия и формулировать аргументированные советы исходя из понимания индивидуальных предпочтений и ценностей каждого гражданина.

Таким образом, ИИ несет с собой не только угрозы, но и способы борьбы с ними. Каждую угрозу мы должны воспринимать как вызов и пользоваться окном возможностей, открывающихся благодаря новым технологиям.

ИИ-порабощение

Какими бы ни были опасения обывателей против засилья элит, все они меркнут на фоне страха перед возможным порабощением людей всемогущим сильным ИИ, управляющим армиями послушных роботов. Мы автоматически наделяем искусственный интеллект хорошо знакомыми нам человеческими мотивами, например стремлением к доминированию, помноженными на его сверхчеловеческие способности по достижению своих целей.

Приписывание искусственному интеллекту человеческих мотивов, надо признаться, имеет под собой все основания. В конце концов, «с кем поведешься – от того и наберешься». Только вот насколько правомерно проводить демаркационную линию «порабощения» именно между биологическим и искусственным разумом? Мы интуитивно считаем, что все, что происходит внутри нашего мозга, – это естественный интеллект, а то, что происходит в микрочипах, – искусственный. Но так ли это на самом деле? Ведь, как известно, человеческий разум имеет коллективную природу. Все наше мышление, начиная с раннего детства, формируется обществом. Все наши мысли, даже если они и порождены нашим мозгом, были в своих предпосылках заложены в нас другими людьми в процессе коллективной мыследеятельности. Любой наш мыслительный акт происходит в явном или незримом диалоге с другими людьми, с оглядкой на их будущую оценку наших решений.

Но ведь то же самое будет происходить и в будущей искусственной психике робота – те же сомнения в оценке его действий окружающими, те же привитые воспитанием ценности, лежащие в основе принятия решений его искусственной психикой. Люди не способны заложить в роботов ничего другого, кроме собственных ценностей! Так что если уж и говорить о порабощении, то речь идет скорее о несовершенствах нашего нынешнего общества: излишнем доминировании элит в разделе общественного пирога, силовом подавлении индивидуальных свобод и других пережитках прошлых эпох. ИИ выступает лишь в качестве еще одного инструмента для существующих в обществе институтов – системы правил, убеждений, норм и организаций[70].

И если мы сумеем преодолеть в человеческом обществе идеологию вражды, деления на «своих» и «чужих», на которых моральные ограничения не распространяются, если сможем организовать цифровые институты гармонизации интересов разных групп без опоры на силу, то эти же ценности станут гарантом нашего мирного сосуществования и в рамках будущей человеко-машинной цивилизации. Ибо «без соответствующих институтов индивиды не всегда сознают, в чем состоит общественное благо, либо не всегда мотивированы в стремлении к нему»[71]. И это касается как биологических, так и искусственных индивидов.

Здесь уместно вспомнить о «законе техногуманитарного баланса», согласно которому для выживания цивилизации необходимо обеспечить регуляцию общественных отношений, адекватную степени развития технологий[72]. Проще говоря, «сила» цивилизации должна быть уравновешена ее «мудростью». Чем мощнее и потенциально опаснее технологии, тем тоньше и сложнее должны быть механизмы достижения общественного согласия, способные подавлять агрессию и предотвращать конфликты. При этом «мудрость», как правило, отстает от «силы», общественное бытие обгоняет общественное сознание, которое, совсем по Ницше, остается и ныне «человеческим, слишком человеческим». Как справедливо заметил А. П. Назаретян, наше будущее зависит от ответа на вопрос: «Успеет ли земной разум усовершенствовать качество самоконтроля в соответствии с ускоряющимся технологическим ростом, прежде чем разрушительные последствия станут необратимыми?»

Таким образом, вопрос о нашем все более активном участии в общественной жизни, в выработке целей и ценностей общества – ключевой вопрос нашего будущего. И если рассматривать стратегию как взгляд на настоящее из желаемого будущего, то цифровая демократия – это именно та проблема, на решении которой мы должны сосредоточиться сегодня. Потеряем ли мы в будущем контроль над своими судьбами? Кто будет решать, как нам жить, к чему стремиться?

А кто это делает сегодня? Если и сегодня это решаем не мы, если решения принимаются кем-то за нас, пусть и от нашего имени, то нам, собственно, нечего будет и терять с приходом сильного ИИ. Он лишь усугубит ту ситуацию, которая к тому моменту сложится в обществе. Причем этот момент может быть гораздо ближе, чем мы до сих пор полагали. «Возможно, наши земные жены сегодня рождают потенциальных богов, которым будут доступны какие-то формы бессмертия и космического господства. Или они рождают поколение самоубийц, которые окончательно обрушат здание Ноосферы…»[73] Об этом мы поговорим в оставшейся части книги.

Резюме

Подытожим наш краткий обзор рисков, связанных с развитием ИИ. Во-первых, следует признать серьезность и нетривиальность возникающих проблем. Мы должны понимать, что нам предстоит создать не просто сильный ИИ, а безопасный, дружественный сильный ИИ. И по всей видимости, это гораздо более сложная проблема, поскольку она не сводится к чисто техническим решениям, а подразумевает активное участие граждан в выработке согласованной концепции общественной безопасности. Концепции эти могут отличаться от страны к стране. Соответственно, потребуются и какие-то международные конвенции в этой области, особенно в связи с опасностью новой гонки вооружений.

Во-вторых, с технической точки зрения желательно, чтобы безопасность ИИ была встроена в саму архитектуру будущих операционных систем роботов, подобно «трем законам робототехники» Айзека Азимова. Мы подробно обсудим эту концепцию в следующей главе, посвященной технологиям сильного ИИ.

Наконец, last but not least, система коллективной безопасности социума, состоящего из людей, роботов и агентов с искусственной психикой, должна быть обеспечена технологически на основе постоянного взаимного контроля. Мы с самого начала должны понимать, что настанет момент, когда люди не смогут сами контролировать решения более мощных искусственных стратегов, поэтому нам следует заранее создавать механизмы саморегуляции сообщества машинных интеллектов с учетом наших интересов. В дополнение к правильным «социальным инстинктам» в будущей искусственной психике мы должны будем разработать и механизмы взаимного контроля всех членов социума, включая ИИ, подобно тому как технология блокчейн автоматически обеспечивает взаимный контроль транзакций в сети. Будущие цифровые платформы должны будут иметь систему встроенной коллективной безопасности, как в последних поколениях ядерных реакторов со встроенной на физическом уровне системой безопасности.

Итак, мы разобрали, кому и зачем нужен сильный ИИ, а также каким требованиям он должен удовлетворять, чтобы улучшить, а не ухудшить нашу жизнь. Самое время перейти к обсуждению вопроса, насколько реальны наши планы по его созданию и на каком временном горизонте он может появиться.

Глава 5

Путь к сильному искусственному интеллекту

Стирая грань между человеком и машиной, мы стираем грань между людьми и богами.

АЛЕКС ГАРЛЕНД

Всякая технология, в сущности, просто продолжает естественное, врожденное стремление всего живого господствовать над окружающей средой.

СТАНИСЛАВ ЛЕМ

Как определить и измерить интеллект?

Ранее мы уже касались вопроса о том, что подразумевали под искусственным интеллектом его отцы-основатели и как это понимание со временем эволюционировало. Пришла пора рассмотреть поставленный вопрос подробнее, поскольку от нашего представления о сути интеллекта зависит и направление наших усилий по его созданию. В этой главе представлена авторская точка зрения на эти вопросы, которая наверняка расходится с мнениями многих специалистов. Что ж, к заветной вершине ведет множество путей, у каждого из нас – свой, и мы пока не знаем, какой из них окажется кратчайшим.

Начнем с того, что есть два типа определений: ориентированные на прошлое – то, чем люди до сих пор занимались в данной области, и ориентированные на будущее – то, чем «на самом деле» надо заниматься. Нас, естественно, больше занимает последний тип, так называемые рабочие определения ИИ. Естественно, что формулировки таких определений у разных авторов могут сильно различаться, особенно в переломные моменты, в одном из которых мы сегодня и находимся. Об этом свидетельствует недавняя горячая дискуссия по поводу определения искусственного интеллекта[74], инициированная статьей д-ра Темпльского университета Пей Вана (Pei Wang), предложившего собственную рабочую формулировку ИИ[75].

Дискуссия разгорелась в основном вокруг термина «интеллект», который лежит на перекрестье многих наук – философии, психологии, нейрофизиологии и, естественно, машинного интеллекта. Первоначальная идея разработчиков последнего состояла в дополнении исторически сложившихся подходов к интеллекту новыми идеями из недавно возникших компьютерных наук. Норберт Винер в конце 1940-х предложил использовать кибернетику как науку об общих принципах управления и самоорганизации в живых и технических системах. Участники Дартмутского семинара 1956 года, на котором, собственно, и родился термин «искусственный интеллект», попытались поднять эту планку еще выше – создать искусственный разум. Общим в обоих подходах было стремление строить действующие модели, следуя принципу «понять – значит воссоздать».

Пионеры ИИ, как выяснилось, явно переоценили возможности тогдашней науки по моделированию «алгоритмов разума». У них не хватало ни теоретических представлений о том, как эти алгоритмы могут быть устроены, ни эмпирических знаний о реальных механизмах работы мозга. Это привело, как мы помним, к краху завышенных ожиданий, снижению первоначальной планки и переориентации исследований на слабый ИИ. Однако с тех пор ситуация качественно изменилась и в области алгоритмов, и в науках о мозге. Так что, возможно, пришла пора вновь переосмыслить исследовательскую программу когнитивных наук и ИИ-сообщества.

В науках о мозге прогресс был связан с появлением новых экспериментальных методик, позволивших заглянуть внутрь живого мозга: функциональной магнитно-резонансной томографии, оптико-генетических методов и многих других. Накоплен огромный массив эмпирических данных о том, что и когда происходит в мозге. При этом явно ощущается дефицит идей, обобщающих эти данные на уровне алгоритмов работы мозга и его вычислительной архитектуры[76]. По крайней мере, реалистичной действующей модели психики до сих пор так и не создано, несмотря на многолетние исследования в этом направлении[77]. Это и значит, что у нас до сих пор нет целостного понимания того, как мозг работает.

В области «алгоритмов разума» мы наблюдаем начавшуюся в 2010-х годах революцию глубокого обучения, в ходе которой впервые удалось с помощью универсального метода градиентного обучения искусственных нейросетей решать многие классы когнитивных задач не хуже человека. В ИИ-сообществе по этому поводу в последние годы наблюдается некоторая эйфория и возрождается осторожный оптимизм по поводу реальности разработки сильного ИИ. Многие лидеры революции глубокого обучения ставят перед собой эту цель (DeepMind, OpenAI и другие). При этом, по крайней мере на словах, признается, что какие-то идеи они надеются почерпнуть из наук о мозге[78]. Однако по сложившейся традиции накопленный массив знаний о мозге используется в прикладном ИИ в минимальной степени.

Таким образом, наукам о мозге не хватает объединяющей накопленный эмпирический материал модели человеческой психики, а разработчикам ИИ недостает идей о том, как может быть устроена искусственная психика. Налицо предпосылки для налаживания их более тесного взаимодействия[79].

Существующие глубокие нейросети можно рассматривать как подсистемы искусственной психики, которые можно обучить решению множества самых разных задач, но только по одной, а не всех сразу. Если обученную нейросеть начать обучать новой задаче, она будет забывать старые навыки, поскольку разные задачи решаются разными наборами одних и тех же настроечных параметров нейросети. Это известная проблема «катастрофического забывания» в нейросетях, отличающая слабый интеллект от сильного. Настоящий интеллект должен уметь накапливать знания и приобретать новые навыки, не забывая старые. А для этого нужно объединить множество нейросетей в единую искусственную психику со своей архитектурой, определяющей роли и взаимодействие своих подсистем.

Наделение интеллекта психикой связано еще и с тем, что, как выяснилось в ходе упомянутой выше дискуссии, большинство ведущих специалистов в области ИИ согласны с мнением, что родовым свойством интеллекта является способность к самостоятельному решению как можно более широкого круга задач. Сформулировать идею можно по-разному. Интеллект – это[80]:

● способность порождать новые алгоритмы для сколь угодно широкого круга задач;

● умение добиваться своих целей в постоянно меняющихся условиях внешней среды;

● способность решать неограниченный круг задач при ограниченных ресурсах;

● способность к целенаправленному адаптивному поведению, и т. д.

Все эти определения тесно связаны между собой, подчеркивая разные стороны одного и того же свойства интеллекта: его субъектность, самостоятельность и креативность в рамках так называемого агентского подхода[81].

При этом большинство исследователей ограничивают интеллект рамками индивидуальной психики агента. Мы, однако, считаем, что индивидуальное мышление, по крайней мере в случае человека, невозможно объяснить вне рамок коллективного мышления человечества. Человеческий разум – это не продукт индивидуального мышления, а результат развития человеческой культуры. Усложнение нашего разума есть результат постоянного углубления системы общественного разделения труда, в результате чего интеллект человека, воспитанного людьми, качественно отличается от интеллекта Маугли, воспитанного волками, при одинаковом устройстве мозга. Таким образом, связь между мозгом и разумом опосредована процессом воспитания.