Помоги проекту - поделись книгой:
Многие исторические индикаторы доверия больше не работают. Печатные книги и телевизионные новости считались авторитетными источниками, поскольку издательская и вещательная отрасли выступали в роли привратников публичного поля. Доверие, основанное на подобной схеме, не имеет под собой оснований применительно к интернету. Сегодня любой может опубликовать что угодно в виде книги. Бумажную газету по-прежнему трудно подделать, но сымитировать ее в формате веб-сайта несложно. Раньше сигналом о надежности и платежеспособности банка служило солидное здание, в котором он размещался; теперь эту роль выполняет графика и дизайн веб-сайта.
Я могу привести еще больше примеров хакинга, основанного на вероломстве.
И последнее: наши когнитивные системы доверия привыкли иметь дело с людьми. Мы не приспособлены оценивать надежность организаций, брендов, корпораций и т. п. Отсюда возникли маскоты – милые узнаваемые персонажи, олицетворяющие бренд, – и положительные отзывы знаменитостей. Рекламодатели уже десятилетиями придают брендам человеческое лицо и запускают наши когнитивные системы доверия.
Некоторые бренды даже обзавелись узнаваемыми сетевыми личностями: рестораны быстрого питания Wendy's выступают в Twitter в образе саркастичного тролля, а от лица Amazon прославился персонаж, гневно реагирующий на критиков компании в правительстве. И все это для того, чтобы имитировать человечность и завоевать доверие так же, как это делают влиятельные лица и политики. По мере того как компании и политические движения все чаще используют ИИ для оптимизации своего присутствия в социальных сетях и поддаются искушению запускать фальшивые аккаунты, чтобы создать впечатление поддержки широких слоев населения, доверие к ним вскоре может возникнуть даже у матерых скептиков.
47
Страх и риск
Наше чувство страха является врожденным. Оно развивалось на протяжении тысячелетий: наши предки учились избегать хищников, а также представителей своего вида, которые вредят другим ради собственной выгоды. Подобно системам внимания, рассмотренным выше, наша система страха базируется на когнитивных штампах: она тоже проходила оптимизацию в условиях нашего эволюционного прошлого.
Это базовые функции, в основном контролируемые миндалевидным телом в стволе головного мозга{205}. Анализ вероятностей и рисков не является нашей сильной стороной. Мы часто склонны преувеличивать значение впечатляющих, странных и редких явлений, а значение обычных, знакомых и распространенных, наоборот, преуменьшать. Мы полагаем, что редкие риски встречаются чаще, чем это происходит на самом деле. И мы боимся их больше, чем это следует по теории вероятности.
Многие психологи пытались объяснить это, и один из их ключевых выводов состоит в том, что люди реагируют на риск, больше опираясь на яркие истории, чем на данные. Истории увлекают нас на интуитивном уровне, особенно если они захватывающие или очень личные. Рассказ друга о том, как его ограбили в другой стране, с большей вероятностью повлияет на то, насколько безопасно вы будете чувствовать себя во время поездки туда, чем абстрактная статистика преступлений. Новизна + страх + хорошая история = чрезмерная реакция.
Последствия этого можно видеть во всем. Мы боимся быть убитыми, похищенными, изнасилованными или подвергнуться нападению со стороны незнакомцев, в то время как статистически гораздо более вероятно, что преступник, совершивший такие преступления, окажется нашим родственником или другом. Нас беспокоят крушения самолетов и стрелки-одиночки, а не аварии на дорогах и домашнее насилие, хотя два последних явления распространены намного шире и статистически они смертоноснее. Мы не имели, а некоторые из нас до сих пор не имеют представления о том, как реагировать на риски COVID-19, которые индивидуально малы, коллективно огромны, чрезвычайно чувствительны к небольшим изменениям в социальных условиях и постоянно меняются вслед за мутациями вируса.
Терроризм напрямую взламывает эти когнитивные штампы{206}. Как индивидуальный риск он незначителен. В результате терактов 11 сентября погибли около 3000 человек, и еще около 300 погибли в США от террористических атак за два последующих десятилетия. С другой стороны, 38 000 человек ежегодно погибают в автокатастрофах – это около 750 000 смертей за тот же промежуток времени. От COVID-19 в США погибло более миллиона человек. Но терроризм придуман для того, чтобы сломать всякую логику. Это ужасающее, яркое, зрелищное, непредсказуемое для жертв, злонамеренное явление – именно то, что заставляет нас преувеличивать риск и слишком остро реагировать. Страх овладевает нами, и мы идем на компромиссы в вопросах безопасности, о которых раньше даже не задумывались. Это хакерские атаки на коллективные страхи и инстинкты общества.
Политики тоже занимаются хакингом системы страха. Если вы сможете доказать, что ваша политическая программа обеспечит безопасность и устранит угрозы, которые чаще всего обсуждаются в новостях, то получите поддержку. Люди могут перенимать страхи от политических инфлюэнсеров или коллег, даже не имея соответствующего личного опыта. Избиратель, живущий в северном Нью-Хэмпшире, может испытывать сильный страх перед иммигрантами на южных границах США, даже если у него не было опыта общения с выходцами из Центральной Америки. Как сказал Билл Клинтон, «когда люди не уверены в себе, они предпочитают ориентироваться{207} на кого-нибудь сильного и неправильного, чем на слабого и правильного».
Трибализм – это система коллективной групповой идентичности. Мы запрограммированы объединяться в группы и дистанцироваться от тех, кто в них не входит. Уязвимость этой системы заключается в том, что мы формируем группы по любому поводу, даже если в этом нет никакого смысла. Когда ребенком я проводил лето в лагере, вожатые организовали игру под названием «Война цветов». По сути, весь лагерь на целую неделю случайным образом оказался разбит на две группы: на «красных» и «золотых». Мы больше не ели и не играли вместе. Эффект проявился мгновенно. Мы вдруг стали хорошими парнями, а «они» – врагами. Я уже не помню, какого был цвета, но хорошо помню это ощущение поляризации, внезапного ожесточения против тех, кто еще вчера были моими друзьями.
Есть три основных способа использовать уязвимость нашего трибализма. Первый из них состоит в укреплении существующей групповой идентичности и разделении на группы. Именно к нему прибегло российское Агентство интернет-исследований, больше известное как «фабрика троллей», в период перед выборами 2016 г. в США, используя такие тактики, как пожертвование денег партизанским организациям и провоцирование конфликтов на онлайн-форумах. Основная установка этой кампании звучала как «Найти трещины» – то есть найти существующие в обществе трещины, которые можно углубить до серьезных разногласий между группами.
Второй способ – намеренное формирование обособленных групп с некой скрытой целью. Этим часто грешили колониальные правительства в XIX и XX вв. В Руанде немцы и бельгийцы, управлявшие регионом, превратили экономические особенности хуту (земледельцев) и тутси (скотоводов) в серьезные этнические и классовые различия, что в итоге спустя десятилетия привело к геноциду. Сегодня бренды используют, хотя и с меньшей интенсивностью, аналогичные стратегии в продажах любых товаров – от кроссовок и газировки до квартир и автомобилей.
Третий способ – создать условия для естественного возникновения трибализма. То есть взять уже существующие группы, объединенные по родству интересов, и возвести это родство до уровня «племени». Такой подход характерен для спортивных команд, но все чаще к нему прибегают политические партии и партийные деятели.
Нет сомнений, что на канале Fox News знакомы с результатами исследований, доказывающих, что усиление чувства тревоги связано со все более плотным примыканием к «своим» группам и нарастанием страха перед «чужими». Когда Fox выпускает сюжеты на такие темы, как «Иммигранты заберут ваши рабочие места»{208}, «[Подставьте название любого города] кишит преступностью и опасен»{209}, «ИГИЛ[29] представляет угрозу для американцев»{210} и «Демократы собираются забрать ваше оружие»{211}, он не только заручается общественной поддержкой по этим вопросам, а создает условия, при которых группы становятся поляризованными.
Аналитика данных и автоматизация оказывают все большую поддержку хакингу чувства групповой идентичности. В то же время трибализм настолько укрепил свои позиции и способность разобщать людей, что подобные хакерские атаки – особенно проведенные с цифровой скоростью и точностью – могут иметь катастрофические последствия для общества. И это не зависит от того, была атака целевой (российские хакеры) или же стала побочным эффектом работы ИИ, который просто не понимает, какой ценой для людей оборачивается его эффективность (рекомендательные системы социальных сетей).
48
Защита от когнитивных хаков
Сообщество пикаперов объединяет мужчин, которые разрабатывают и делятся манипулятивными методами соблазнения женщин. Оно возникло еще до появления общедоступного интернета, позже перекочевало в него и сегодня процветает. Многие пикаперские приемчики напоминают когнитивные хаки. Например, неггинг. По сути, это двусмысленный комплимент с элементом критики или язвительным комментарием, намеренно сделанный для того, чтобы усилить потребность жертвы в эмоциональном одобрении со стороны манипулятора. Да, знаю, это цинично.
Я понятия не имею, работает ли неггинг и прочие пикаперские лайфхаки. Мужчины, которые обсуждают их в интернете, склонны к бахвальству и приводят массу анекдотических доказательств своей неотразимости, но часто отделить ложь от плохой научной методологии бывает непросто. Читая истории женщин, ставших жертвами этих хакерских атак, понимаешь: лучшая защита – знание. Если вы знакомы с тактикой неггинга, то сможете ее предвидеть и вовремя распознать.
Предвидение ускоряет регрессию к среднему. Иными словами, многие когнитивные хаки хорошо работают поначалу, но по мере того, как люди к ним адаптируются, становятся все менее эффективными. Когда в 1994 г. в интернете появилась баннерная реклама, ее кликабельность составляла 49 %; сейчас этот показатель составляет менее 1 %. Всплывающая реклама демонстрировала аналогичный спад, когда стала раздражающе вездесущей. Скорее всего, та же динамика постигнет микротаргетинг, капельное ценообразование, фальшивые аккаунты Facebook и прочие ухищрения, о которых шла речь в последних главах. По мере того как мы привыкаем к этим тактикам, они становятся менее эффективными.
Однако предвидение не дает абсолютной защиты{212}. Многие когнитивные хаки работают даже тогда, когда мы понимаем, что нами манипулируют. Если человек поверил во что-то, он часто сохраняет приверженность своим убеждениям и даже укрепляется в них, когда ему предъявляют явные доказательства их неправоты. Конкретный пример: компании часто используют бесплатные пробные версии с последующей автоматически включающейся ежемесячной подпиской, чтобы взломать готовность потребителя платить. Расчет строится на том, что люди обычно переоценивают возможности своей памяти и умение делать все точно в срок, и, даже если они признают за собой этот недостаток и постоянно собираются отменить подписки на услуги, которые им не нужны, все равно большинство из них ведется на очередные бесплатные версии, а компании продолжают списывать ежемесячную абонентскую плату.
Другой способ защититься от когнитивных хаков – объявить определенные манипулятивные практики незаконными. Австралия, например, обязала продавцов раскрывать полную цену товара сразу, чтобы предотвратить капельное ценообразование, а Федеральная торговая комиссия США требует, чтобы рекламные заявления были «разумно обоснованы». Мы можем снизить эффективность некоторых из этих хаков и, следовательно, сделать их менее опасными, уменьшив возможности микротаргетирования. Если платные сообщения в соцсетях, особенно политическая реклама, будут довольствоваться широкой аудиторией, это затруднит использование целого ряда когнитивных хаков в неблаговидных целях.
Однако любые новые правила рано или поздно будут взломаны. Поэтому контроля, пусть даже надежного и гибкого, а также прозрачности недостаточно, чтобы гарантировать защиту от когнитивных хаков и отучить людей от их использования. Задача усложняется еще и тем, что многие из этих хаков наносят вред, который в моменте кажется абстрактным, а проявляется спустя какое-то время, и потому довольно трудно объяснить, что с ними «не так».
Когнитивные хаки играют на самых базовых и общих аспектах человеческого разума, начиная с инстинкта выживания и заканчивая стремлением к социальному статусу. Они могут быть использованы против кого угодно. Чтобы защититься от когнитивных хакеров, необходимы усилия всего общества в сферах образования и регулирования, а также технические решения, особенно в онлайн-среде. Поскольку цифровые технологии занимают все больше нашего времени, когнитивные хаки все чаще осуществляются с помощью машин. А поскольку компьютерные программы из хакерских инструментов сами превращаются во все более быстрых, мощных и автономных хакеров, понимание того, как цифровые продукты могут взламывать наше сознание, приобретает все более важную роль для защиты от манипуляций.
49
Иерархия хакинга
Ни одна система не существует изолированно, всегда являясь частью иерархии.
Представьте себе человека, который хочет украсть деньги посредством онлайн-банкинга. Он может хакнуть веб-сайт банка, интернет-браузер клиента, операционную систему или аппаратное обеспечение его компьютера. Все эти взломы потенциально могут достичь своей цели – кражи денег.
Теперь представьте себе человека, который хочет платить меньше налогов. Очевидно, что он будет взламывать налоговый кодекс и искать в нем лазейки. Но если у этого человека есть власть и влияние, он может подняться на уровень выше и хакнуть законодательный процесс, который формирует налоговый кодекс. Поднявшись на два уровня выше, он сможет хакнуть нормотворческий процесс, используемый для реализации законодательства, или же процесс ассигнований, чтобы в налоговых органах возник дефицит сотрудников, задействованных в налоговых проверках. (Хакинг процесса правоприменения – это еще один способ подорвать цель системы.) Если наш хакер поднимется на три уровня вверх, он займется взломом политического процесса, используемого для избрания законодателей. На следующем, четвертом по счету уровне он сможет взломать медиаэкосистему, которая служит для обсуждения политических процессов. Последний, пятый уровень – это уровень хакинга когнитивных процессов, спровоцированных медиаэкосистемой, в результате которых избираются законодатели, создающие налоговый кодекс, предоставляющий ему лазейки. Для этого он даже может спуститься на уровень ниже, чтобы найти уязвимости и эксплойты в программе подготовки налогов.
Я пытаюсь сказать, что иерархия систем – это иерархия возрастающей общности, в которой вышестоящая система управляет нижестоящей. И хакеры могут атаковать любой из этих уровней. Хакинг использует иерархию взаимосвязанных систем. Хакнуть какую-то обособленную систему или манипулировать ею порой очень непросто, но системы более высокого уровня, которые управляют ею, или системы нижестоящие, реализующие ее команды, могут стать богатым источником эксплойтов, которые сами по себе, оставаясь на своем уровне иерархии, не представляют опасности.
В технологических системах продвижение вверх по уровням затруднено. Тот факт, что Microsoft Windows имеет уязвимости, не гарантирует, что кто-то может взломать процесс найма сотрудников корпорации Microsoft, чтобы поставить себя в положение, позволяющее внедрить еще больше уязвимостей в операционную систему. В социальных системах такое продвижение вверх значительно проще, особенно для тех, у кого есть деньги и влияние. Джефф Безос без проблем купил самый большой дом в Вашингтоне{213}, чтобы развлекать законодателей и влиять на них, и газету
Некоторые хакеры работают на нескольких уровнях одновременно. В 2020 г. мы узнали о Ghostwriter{214}, группе предположительно российского происхождения, которая взломала системы управления контентом нескольких восточноевропейских новостных сайтов и разместила фейковые истории. Это обычный хакинг компьютерных систем, подключенных к интернету, в сочетании с хакингом доверия аудитории к новостным сайтам с хорошей репутацией.
Устранением уязвимостей тоже проще заниматься на более низких уровнях иерархии систем. Уязвимость в TurboTax может быть исправлена за несколько дней. Устранение лазейки в налоговом кодексе может растянуться на годы. Когнитивные уязвимости легко могут существовать несколько человеческих поколений (хотя конкретные тактики их эксплуатации, возможно, придется регулярно менять).
Это делает когнитивные хаки самыми опасными из всех. Они управляют нашими действиями, как индивидуальными, так и коллективными, а значит, и нашими социальными системами. Если вы можете взломать человеческий мозг, то ничто не мешает вам использовать эти методы на избирателях, служащих, бизнесменах, регуляторах, политиках и подобных вам хакерах, подталкивая их к изменению систем обитания по вашему усмотрению.
Сегодня когнитивный хакинг несет в себе новые угрозы. Наш мозг не единственная когнитивная система, о которой нам нужно беспокоиться. Государственные услуги, бизнес-транзакции и даже основные социальные взаимодействия теперь опосредуются цифровыми системами, которые так же, как и люди, делают прогнозы и принимают решения, но намного быстрее, последовательнее и при этом менее ответственно, чем мы. Машины все чаще принимают решения за нас, но думают иначе, чем мы, и взаимодействие нашего разума с ИИ указывает хакерам путь к захватывающему и опасному будущему в сферах экономики, права и не только.
Часть VII
Хакинг и системы искусственного интеллекта
50
Искусственный интеллект и робототехника
Искусственный интеллект (ИИ) – это информационная технология. Она представляет собой программное обеспечение для компьютеров и уже глубоко внедрилась в нашу социальную структуру, причем не только там, где мы это видим и осознаем, но и в области, пока недоступные нашему пониманию. Эта технология хакнет наше общество так, как никто и ничто доселе.
Мое утверждение базируется на двух предпосылках. Во-первых, системы ИИ будут непревзойденным инструментом для хакеров-людей. А во-вторых, они сами станут хакерами. ИИ будет находить уязвимости во всех видах социальных, экономических и политических систем, а затем использовать их с беспрецедентной скоростью, масштабом, размахом и изощренностью. Это не просто разница в интенсивности, это качественно иной хакинг. Мы рискуем оказаться в будущем, где системы ИИ будут взламывать другие системы ИИ, а последствия этого, которые обрушатся на людей, будут не более чем сопутствующим ущербом.
Это может показаться преувеличением, но ничего из того, что я описываю, не требует научно-фантастических технологий далекого будущего. Я не постулирую никакой «сингулярности», когда цикл обратной связи при обучении ИИ становится настолько быстрым, что опережает человеческое понимание. В моих сценариях нет ни злых гениев, ни разумных андроидов вроде Дейты из «Звездного пути», R2-D2 из «Звездных войн» или Марвина из «Автостопом по галактике». Не потребуется таких мощных и вредоносных системы ИИ, как Скайнет из «Терминатора», Альтрон из «Мстителей» или агент Смит из «Матрицы». Некоторые хаки, о которых я расскажу, даже не предполагают серьезных научных открытий. Да, они будут совершенствоваться по мере развития технологий ИИ, но уже сегодня мы можем видеть намеки на их появление. Эти хаки возникнут естественным образом, по мере того как ИИ будет становиться все более совершенным в обучении, понимании и решении проблем.
Определение
Искусственный интеллект, ИИ (
1. Компьютер, который (как правило) может воспринимать, думать и действовать.
2. Общий термин, охватывающий широкий спектр технологий принятия решений, которые имитируют человеческое мышление.
Это определение, как и предыдущие, не претендует на канонизацию, но справедливости ради должен заметить, что кратко определить ИИ сложно. В 1968 г. пионер компьютерной науки Марвин Мински описал ИИ следующим образом{215}: «Наука о том, как заставить машины делать то, что потребовало бы интеллекта, если бы это делали люди». Патрик Уинстон, еще один пионер ИИ, определил его как{216} «вычисления, которые делают возможным восприятие, рассуждение и действие». Стандартная интерпретация теста Тьюринга 1950 г., придуманная им по аналогии с игрой в имитацию[30], ставила задачу определить по текстовым ответам на вопросы, является ваш собеседник человеком или компьютерной программой.
Здесь необходимо провести различие между специализированным, или
Мы уже провели и проводим множество прикладных исследований по созданию общего ИИ. У нас есть теоретические разработки о том, как спроектировать эти системы, чтобы они вели себя хорошо, например не уничтожали человечество. Это очень увлекательная работа, охватывающая огромную область от компьютерных наук до социологии и философии, но прежде, чем мы увидим ее результаты в действии, вероятно, пройдут еще десятилетия{217}. Я же хочу сосредоточиться на узком ИИ, поскольку именно он сейчас находится в стадии активной разработки.
Узкий ИИ предназначен для выполнения конкретной задачи, как в случае беспилотного автомобиля. Он знает, как управлять транспортным средством, соблюдать правила дорожного движения, избегать аварий и что нужно делать в непредвиденных ситуациях, например когда мячик вылетает на дорогу. Узкий ИИ знает многое и может принимать на основе этих знаний решения, но только в сфере, ограниченной вождением.
Среди исследователей ИИ бытует шутка: если что-то начинает работать, оно перестает быть ИИ. Теперь это просто программное обеспечение. Логический вывод из этой шутки состоит в том, что, вероятно, единственными достижениями исследователей ИИ могут быть неудачи. И в этом есть доля правды. Термин «искусственный интеллект» является по своей сути чем-то загадочным, научно-фантастическим, а как только он становится реальностью, то теряет свое обаяние и загадку. Раньше мы считали, что для чтения рентгеновских снимков грудной клетки требуется рентгенолог, то есть умный человек с соответствующей подготовкой и профессиональными полномочиями. Сегодня мы знаем, что это рутинная задача, которую может выполнить и компьютер.
Чтобы лучше понять, что такое ИИ, подумайте вот о чем. Существует множество технологий и систем принятия решений, начиная от простого электромеханического термостата, который управляет печью в ответ на изменения температуры, и заканчивая каким-нибудь андроидом из научно-фантастического фильма. То, что делает ИИ таковым, зависит от сложности выполняемых им задач и среды, в условиях которой эти задачи решаются. Электромеханический термостат выполняет очень простую задачу, учитывающую только один аспект окружающей среды – температуру. Для этого даже не нужен компьютер. Современный цифровой термостат может определять, кто находится в помещении, и делать расчет будущих потребностей в тепле на основе прогноза погоды, данных об использовании обогревателя или кондиционера, общегородском энергопотреблении и посекундных расходах на электроэнергию. Футуристический ИИ-термостат, вероятно, сможет действовать как заботливый и внимательный дворецкий, что бы это ни значило в контексте регулирования температуры окружающей среды.
Я бы предпочел не зацикливаться на определениях, поскольку для целей нашего обсуждения они не имеют особого значения. В дополнение к принятию решений, важными качествами систем ИИ, которые я буду обсуждать, являются автономность (способность действовать независимо), автоматизация (способность реагировать на конкретные триггеры заданным образом) и физическая активность (способность изменять физическую среду). Термостат имеет ограниченную автоматизацию и физическую активность, но не обладает автономностью. Система, предсказывающая рецидив преступлений, не обладает физической активностью: она просто дает рекомендации судье. Беспилотный автомобиль обладает всеми тремя качествами, но строго в рамках заданных функций. Робот R2-D2 обладает всеми тремя в большом объеме, хотя по какой-то неясной причине его разработчики забыли о синтезе человеческой речи.
Определение
Робот{218} (
Робототехника тоже обросла популярной мифологией, но ее реальность менее причудлива. Как и в случае с ИИ, существует множество определений этого термина. В кино и на телевидении роботов часто подают как неких искусственных людей, или андроидов. Подобно ИИ, робототехника охватывает целый спектр логических и физических способностей. Я предпочитаю и в этом вопросе сосредоточиться на технологиях более прозаических и близких к нам по времени. Для наших целей робототехника – это автономия, автоматизация и физическая активность, развитая до максимума. Это
51
Хакинг систем искусственного интеллекта
Системы ИИ представляют собой программы, работающие на компьютерах, как правило, в крупномасштабных компьютерных сетях. Это означает, что они уязвимы для всех типов хакерских атак, которым подвергаются обычные компьютерные системы. Но помимо этого существуют специальные хаки, направленные исключительно на системы ИИ и, в частности, на системы машинного обучения (МО). МО – это подобласть ИИ, которая в прикладных системах вышла сегодня на первый план. Системы МО базируются на моделях, которые обрабатывают огромное количество данных и самостоятельно ищут решения согласно инструкциям. Атаки на системы MО бывают двух типов: одни нацелены на кражу данных, используемых для обучения, или кражу модели, на которой основана система, другие связаны с обходом настроек системы МО и подталкивают ее к принятию ошибочных решений.
Последний тип атак известен как
За враждебным МО, несмотря на название, совсем не обязательно должны стоять чьи-то злые намерения, и оно не ограничивается лабораторными условиями. В настоящее время существуют проекты, целью которых является хакинг систем распознавания лиц, чтобы протестующие граждане да и любые другие люди могли собираться в общественных местах, не опасаясь быть опознанными полицией. Аналогичным образом можно представить себе будущее, в котором страховые компании будут использовать системы ИИ для принятия решений по претензиям. В этом случае врач может хакнуть такую систему методом враждебного МО, чтобы гарантировать одобрение страховки для пациента, который нуждается в определенном лекарстве или процедуре.
Другие успешные хаки подразумевают подачу в систему ИИ определенных входных данных, предназначенных ее изменить. В 2016 г. компания Microsoft представила в Twitter чат-бота по имени Tэй. Его разговорный стиль был смоделирован на основе речи девочки-подростка и должен был становиться все более сложным по мере взаимодействия с людьми и изучения их разговорных стилей. В течение 24 часов группа хакеров на дискуссионном форуме 4chan скоординировала свои ответы и наводнила систему расистскими, женоненавистническими и антисемитскими твитами, тем самым превратив Тэй в злобного шовиниста. Тэй честно учился на том материале, который ему подбрасывали, и, не понимая смысла своих реплик, словно попугай, вернул миру его уродство.
Системы ИИ – это компьютерные программы, поэтому нет оснований полагать, что они окажутся неуязвимыми для обычных компьютерных хаков. Исследования в области враждебного МО все еще находятся на ранних стадиях, поэтому мы не можем однозначно сказать, будут подобные атаки легкими или сложными и насколько эффективными будут контрмеры служб безопасности. Если опираться на историю компьютерного хакинга, то можно утверждать, что уже в обозримом будущем в системах ИИ появятся и будут обнаружены уязвимости. Системы ИИ встроены в те же социотехнические системы, которые мы обсуждали на протяжении всей книги, поэтому обязательно найдутся люди, которые захотят взломать их ради личной выгоды.
Хаки, которые я только что описал, объединяет наглядность результатов. Автомобили разбиваются. Черепаха классифицируется как винтовка. Тэй ведет себя как нацист-женоненавистник. Мы видим, что приводит к таким результатам, и – я надеюсь – сможем исправлять системы МО и восстанавливать их работу.
Однако меня больше беспокоят более тонкие атаки, результаты которых менее очевидны. Беспилотные автомобили могут не разбиваться, а просто начать двигаться чуть более хаотично. Чат-боты могут не превращаться в явных нацистов, а просто стать чуть более склонными к поддержке какой-то конкретной политической партии. Хакеры могут придумать формулировку, вставив которую в текст заявки на поступление в университет вы автоматически получите больше шансов. До тех пор, пока результаты неочевидны, а алгоритмы неизвестны, как можем мы знать, что система не взломана?
52
Проблема объяснимости
В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной – Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает{219}, что ответ на главный вопрос бытия – «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.
Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются «черными ящиками»: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.
В 2016 г. система искусственного интеллекта AlphaGo выиграла матч из пяти партий{220} у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.
ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее – он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два»{221}. У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)
В 2015 г. исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.
Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.
Исследователи ИИ работают над проблемой объяснимости. В 2017 г. Управление перспективных исследовательских проектов министерства обороны США (DARPA) учредило исследовательский фонд в размере $75 млн для десятка программ в этой области. Потенциально это влияет на успех, но, похоже, нам не уйти от компромиссов между эффективностью и объяснимостью, между эффективностью и безопасностью и между объяснимостью и конфиденциальностью. Объяснения – это форма стенографии когнитивного процесса, используемая людьми и подходящая для наших методов принятия решений. Решения ИИ могут просто не соответствовать формату понятных для человека объяснений, а принуждение к ним систем ИИ может стать дополнительным ограничением, которое повлияет на качество принимаемых ими решений. Пока неясно, к чему приведут эти исследования. В ближайшей перспективе ИИ будет все более непрозрачным, поскольку системы усложняются, становясь все менее похожими на человека, а значит, и менее объяснимыми.
Впрочем, в некоторых контекстах мы можем не заботиться об объяснимости. Я был бы уверен в диагнозе, поставленном мне Deep Patient, даже если бы он не мог объяснить свои действия, но, согласно данным, ставил диагнозы точнее, чем врач-человек. Точно так же я мог бы относиться к системе ИИ, которая решает, где бурить нефтяные скважины, или предсказывает, какие детали самолета с большей вероятностью выйдут из строя. Но я бы не чувствовал себя так же комфортно в случае с непрозрачной системой ИИ, которая принимает решения о приеме в колледж, прогнозируя вероятность академических успехов абитуриента, с системой, которая принимает решения о выдаче кредита, учитывая расовые стереотипы в своих прогнозах возможной невыплаты, или с системой, принимающей решения об условно-досрочном освобождении на основе прогноза рецидивов. Возможно, некоторым людям даже спокойнее оттого, что системы ИИ принимают серьезные решения без объяснения причин. Все это очень субъективно и, вероятно, со временем будет меняться по мере того, как мы все больше будем приобщаться к принятию решений ИИ.
Однако есть те, кто категорически не согласен с такой ситуацией и выступает против необъяснимого ИИ. Институт будущего жизни (FLI) и другие исследователи ИИ отмечают, что объяснимость особенно важна для систем, которые{222} могут «причинить вред», оказать «существенное влияние на людей» или повлиять на «жизнь конкретного человека, ее качество или его репутацию». В докладе, озаглавленном «ИИ в Великобритании», говорится, что если система ИИ оказывает «существенное влияние на жизнь человека»{223} и не может предоставить «полное и удовлетворительное объяснение» своих решений, то такую систему внедрять не следует.
На мой взгляд, разница между системой ИИ, которая предоставляет объяснение, и такой же системой, которая этого не делает, заключается в справедливости. Мы должны быть уверены, что система ИИ не является расистской, сексистской, абьюзивной или дискриминирующей в каком-то ином смысле, о котором мы пока не имеем представления. Без объяснимости можно легко получить результаты, подобные тем, которые генерирует внутренняя система ИИ компании Amazon для отбора заявлений о приеме на работу. Эта система была обучена на десятилетних данных о найме, и, поскольку в технологической отрасли доминируют мужчины, она научилась сексизму: оценивая резюме, система перемещала вниз те из них, в которых встречалось слово «женщина» или был указан женский колледж как место учебы. (Бывают случаи, когда мы не хотим, чтобы будущее было похоже на прошлое.)
Как только руководители Amazon осознали эту предвзятость и несправедливость, они потеряли к проекту интерес и в итоге отказались от использования системы{224}. Они столкнулись с трудной, возможно, даже непреодолимой проблемой, поскольку существует множество противоречащих друг другу определений справедливости{225}; то, что справедливо в одном контексте, не обязательно справедливо в другом. Какая система приема заявлений является справедливой? Та, которая не учитывает пол кандидата? Та, которая намеренно корректирует гендерные предубеждения? Та, которая распределяет квоты между представителями полов в той пропорции, в которой они подали заявления? Или та, которая обеспечивает равные возможности для разных полов?
Если система ИИ сможет объяснить, чем она руководствовалась, давая ту или иную рекомендацию о приеме на работу или об условно-досрочном освобождении, мы сможем лучше проанализировать процесс принятия решений. Это означает, что мы с большей вероятностью будем доверять этой системе в ситуациях, которые имеют больше социальных нюансов, чем вопрос «Указывает ли этот рентген на опухоль?».
С другой стороны, сами человеческие решения не всегда объяснимы. Конечно, мы можем давать объяснения, но исследования показывают, что часто это скорее оправдания постфактум. Так что, возможно, ответ заключается в том, чтобы просто внимательно изучить результаты. Когда суды решают, является ли поведение того или иного полицейского департамента расистским, они не вскрывают черепа полицейских и не требуют от них объяснений своего поведения. Они смотрят на его результаты и на основании этого выносят решение.
53
Очеловечивание искусственного интеллекта
Системы искусственного интеллекта будут влиять на нас как на личном, так и на социальном уровне. Ранее я уже упоминал о социальной инженерии. Самые эффективные попытки фишинга – то есть те, в результате которых люди и компании теряют много денег, – всегда персонализированны. Электронное письмо от имени генерального директора с просьбой о банковском переводе, адресованное кому-то из финансового отдела, может быть особенно эффективным, а голосовое или видеосообщение – тем паче. Трудоемкая задача настройки фишинговых атак может быть автоматизирована с помощью методов ИИ, что позволит мошенникам сделать электронные письма или голосовые сообщения от авторитетных лиц максимально правдоподобными.
Быть обманутым ИИ не обязательно означает, что вы получите больше проблем, чем от любого другого обмана. Настоящая опасность заключается в том, что ИИ сможет убеждать с компьютерной скоростью и масштабами. Сегодняшние когнитивные хаки – фейковая статья или провокационный вброс, способные одурачить лишь самых легковерных или отчаявшихся, – покажутся топорной работой. ИИ обладает потенциалом для того, чтобы когнитивные хаки стали микроцелевыми: персонализированными, оптимизированными и доставляемыми непосредственно адресату. Есть много старых мошеннических трюков, учитывающих индивидуальные особенности жертвы. Рекламные сообщения – это когнитивные хаки массового поражения. Технологии ИИ способны объединить в себе и те и другие.
Люди уже давно приписывают компьютерным программам человеческие качества. В 1960-х гг. программист Джозеф Вейценбаум создал примитивную разговорную программу ELIZA{226}, которая имитировала манеру общения психотерапевта. Вейценбаум был поражен тем, что люди готовы делиться глубоко личными секретами с глупой компьютерной программой. Секретарша Вейценбаума даже просила его выйти из комнаты, чтобы она могла поговорить с ELIZA наедине. Сегодня мы наблюдаем, как люди стараются быть вежливыми с голосовыми помощниками, такими как Alexa и Siri{227}, будто для них действительно важен тон общения. Siri даже жалуется, когда вы грубите ей. «Это не очень приятно», – говорит она, но лишь потому, что так запрограммирована.
Многочисленные эксперименты дают аналогичные результаты. Испытуемые оценивали производительность компьютера менее критично, если давали оценку в его присутствии, что свидетельствует об их подсознательном желании не ранить его чувства{228}. В другом эксперименте, когда компьютер сообщал испытуемому явно вымышленную «личную информацию» о себе, тот, как правило, отвечал взаимностью, сообщая реальную личную информацию{229}. Сила взаимности изучается сегодня психологами. Это еще один когнитивный хак, используемый людьми, который могут усилить масштаб и персонализация ИИ.
Робототехника делает хакинг ИИ более эффективным. Люди освоили много способов узнавания самих себя в окружающем мире. Мы видим лица повсюду: две точки с горизонтальной черточкой под ними уже воспринимаются как лицо. Вот почему даже минималистичные иллюстрации так хорошо считываются нами. Если что-то имеет лицо, оно перестает быть чем-то и становится неким существом, со своими мыслями, чувствами и всем, что полагается настоящей личности. Если это некое существо говорит или, еще лучше, вступает с нами в диалог, то мы можем поверить, что у него есть намерения, желания и свобода действий. А если на его лице присутствуют еще и брови, то ничто не помешает нам в этом.
Роботы только подчеркивают эту человеческую уязвимость. Многие люди поддерживают квазисоциальные отношения со своими роботами-пылесосами и даже жалуются, если компания предлагает заменить, а не отремонтировать их. Армия США столкнулась с проблемой, когда полковник подразделения, где проходил тестирование новый противоминный робот, запретил насекомообразному устройству{230} продолжать наносить себе вред, наступая на мины. Робот, разработанный в Гарварде, смог убедить студентов впустить его в кампус, притворившись доставщиком пиццы. А Boxie – говорящий робот, похожий на ребенка, разработанный в стенах MIT, – способен убеждать людей отвечать на личные вопросы, просто вежливо их попросив.
Наша реакция на некоторых роботов в чем-то схожа с нашим восприятием детей. У детей большие головы относительно тела, большие глаза относительно головы, большие ресницы относительно глаз и высокие голоса. Мы реагируем на эти характеристики инстинктивным желанием защитить.
Художники из поколения в поколение использовали этот феномен, чтобы придать своим творениям симпатичный вид. Детские куклы призваны вызывать чувство любви и заботы. Герои многих мультфильмов, включая Бетти Буп (1930-е) и Бэмби (1942), нарисованы по такому шаблону. Главной героине научно-фантастического боевика «Алита: Боевой ангел» (2019) с помощью компьютерной графики увеличили глаза, чтобы они казались больше.
В 2016 г. Технологический институт Джорджии опубликовал исследование о доверии человека к роботам{231}, в котором неантропоморфный робот помогал участникам перемещаться по зданию, давая указания типа «Это путь к выходу». Сначала участники взаимодействовали с роботом в обычной обстановке, чтобы оценить его эффективность, которая была специально занижена. Затем они должны были решить, следовать или нет советам робота в условиях смоделированной чрезвычайной ситуации. Поразительно, но все 26 участников послушались его указаний, несмотря на то что всего за несколько минут до этого убедились в его плохих навигационных навыках. Степень доверия к машине была вне всякой логики: когда робот указал на темную комнату без четко обозначенного выхода, большинство людей послушались его, вместо того чтобы просто и безопасно покинуть здание через дверь, в которую они вошли. Исследователи провели аналогичные эксперименты с другими роботами, явно имитировавшими неисправность. И вновь испытуемые вопреки здравому смыслу последовали экстренным указаниям роботов. Похоже, роботы могут естественным образом взламывать наше доверие.
Антропоморфные роботы – это еще более убедительная в эмоциональном плане технология, а ИИ только усилит ее привлекательность. Поскольку ИИ все лучше имитирует людей и животных, постепенно он захватит все механизмы, которые мы используем для оценки друг друга. Как писала психолог Шерри Теркл в 2010 г., «когда роботы устанавливают зрительный контакт, узнают лица, повторяют человеческие жесты, они нажимают на наши дарвиновские кнопки, демонстрируя поведение, которое люди связывают с разумом, намерениями и эмоциями». Проще говоря, они хакают наш мозг.
Мы не просто будем относиться к системам ИИ как к людям. Они будут вести себя как люди, причем намеренно обманывая нас. Они прибегнут к когнитивному хакингу.
54
Хакинг человека искусственным интеллектом и роботами
Во время выборов в США в 2016 г. около одной пятой всех политических твитов было размещено ботами. Во время голосования по Brexit в Великобритании в том же году эта доля составила одну треть. В отчете Оксфордского института интернета за 2019 г. приведены доказательства использования ботов для распространения пропаганды{232} в 50 странах. Как правило, это были простые программы, бездумно повторяющие лозунги. Например, после убийства Джамаля Хашогги в 2018 г. посредством ботов было размещено около четверти миллиона просаудовских твитов «Мы все доверяем [наследному принцу] Мохаммеду бин Салману».
В 2017 г. Федеральная комиссия по связи объявила о начале публичных онлайн-обсуждений ее планов по отмене сетевого нейтралитета. Было получено ошеломляющее количество комментариев – 22 млн, – многие из которых, возможно даже половина, были поданы с использованием украденных личных данных. Эти поддельные комментарии были сделаны очень грубо: 1,3 млн из них явно создавались на основе одного и того же шаблона с изменением некоторых слов для придания уникальности. Это было видно невооруженным глазом.
Подобные попытки будут становиться все более изощренными. В течение многих лет программы ИИ составляли спортивные и финансовые новости для реальных новостных агентств, таких как
Не требуется обладать богатым воображением, чтобы понять, как ИИ ухудшит политический дискурс. Уже сейчас управляемые ИИ-персоны могут писать письма в газеты и выборным должностным лицам, оставлять внятные комментарии на новостных сайтах и досках объявлений, а также обсуждать политику в социальных сетях. По мере того как эти системы становятся все более детализированными и все убедительнее имитируют личность, их все труднее отличать от реальных людей. Тактику, которая раньше была очевидной, сегодня уже распознать не так просто.
В ходе недавнего эксперимента исследователи использовали программу генерации текстов для отправки 1000 комментариев в ответ на просьбу правительства к гражданам высказать свое мнение по вопросу Medicaid{234}. Каждый комментарий выглядел уникально, так, будто реальные люди отстаивали свои политические позиции. Администраторы сайта Medicaid.gov даже не усомнились в их подлинности и приняли всё за чистую монету. Позже исследователи указали им на эти комментарии и попросили удалить, чтобы избежать предвзятости в политических дебатах. Однако не все будут столь этичными.
Эти методы уже применяются в реальном мире для влияния на политику. Пропагандистская онлайн-кампания использовала сгенерированные ИИ изображения лиц для создания фальшивых журналистов. Китай распространял созданные ИИ текстовые сообщения, призванные повлиять на выборы на Тайване в 2020 г. Технология дипфейк, использующая ИИ для создания реалистичных видеороликов о фальшивых событиях, часто с участием реальных людей, чтобы изобразить их произносящими то, что они никогда не говорили, уже применяется в политических целях в таких странах, как Малайзия, Бельгия и США.
Одним из примеров расширения этой технологии является бот-персона – ИИ, выдающий себя за человека в социальных сетях. Бот-персоны имеют свою личную историю, характер и стиль общения. Они не занимаются откровенной пропагандой. Такие боты внедряют в различные группы по интересам: садоводство, вязание, модели железных дорог, что угодно. Они ведут себя как обычные члены этих сообществ, публикуя сообщения, комментируя и обсуждая. Системы, подобные GPT-3, позволяют им легко добывать информацию из предыдущих бесед и соответствующего интернет-контента, чтобы выглядеть знатоками в конкретной области. Затем, время от времени, бот-персона может размещать что-то относящееся к политике, например статью об аллергической реакции медицинского работника на вакцину COVID-19, сопровождая ее обеспокоенными комментариями. Или же высказать мнение своего разработчика о недавних выборах, расовой справедливости или любой другой поляризующей теме. Одна бот-персона не может изменить общественное мнение, но что, если их будут тысячи? Или миллионы?
Этому явлению уже дали название –
Поскольку мы, люди, склонны смешивать категории и относиться к роботам как к живым существам со своими чувствами и желаниями, мы уязвимы для манипуляций с их стороны. Роботы могут убедить нас делать то, что мы бы не стали делать без их влияния. И они могут припугнуть нас, чтобы мы не делали того, что могли бы сделать в противном случае. В одном из экспериментов робот успешно воздействовал на испытуемых по скрипту «давление сверстников»{237}, побуждая их идти на больший риск. Задайте себе вопрос: как скоро секс-робот начнет предлагать покупки в приложениях в самый ответственный момент?
В этом виде убеждения ИИ будет становиться все лучше. Исследователи уже разрабатывают системы ИИ, которые определяют эмоции, анализируя наш почерк, читая выражение лица или отслеживая дыхание и пульс. Пока еще они часто ошибаются, но с развитием технологий это пройдет. В какой-то момент ИИ превзойдет человека по своим возможностям. Это позволит более точно манипулировать нами. Но с одной оговоркой: нашу адаптивность, о которой мы говорили ранее, никто не отменял.
AIBO – это собака-робот, представленная Sony в 1999 г. Компания выпускала новые и улучшенные модели каждый год вплоть до 2005 г., а затем в течение следующих нескольких лет постепенно прекратила поддержку старых AIBO. Даже по компьютерным стандартам того времени AIBO был довольно примитивным, но это не мешало людям эмоционально привязаться к своим «питомцам». В Японии даже появилась традиция устраивать похороны своих «мертвых» AIBO.
В 2018 г. Sony начала продажи нового поколения AIBO. В игрушку внесено много программных усовершенствований, которые делают ее более похожей на домашнее животное, но интереснее другое: AIBO для работы теперь требуется облачное хранилище данных. Это означает, что, в отличие от предыдущих версий, Sony может удаленно изменить или даже «убить» любого AIBO. Первые три года хранения данных в облаке бесплатны, после чего компания начинает взимать плату в размере $300 в год. Расчет строится на том, что за три года владельцы AIBO эмоционально привяжутся к своим питомцам. Подобную тактику можно назвать «эмоциональным захватом».
Поскольку ИИ и автономные роботы берут на себя все больше реальных задач, подрыв доверия людей к таким системам будет отягощен опасными и дорогостоящими последствиями. Но не стоит забывать, что именно люди управляют системами ИИ. Все они разрабатываются и финансируются людьми, которые хотят манипулировать себе подобными определенным образом и с конкретной целью.
Такие корпорации, как Sony, и другие влиятельные игроки долго и упорно пытаются хакнуть наши эмоции ради власти и прибыли. Для этого они вкладывают немалые средства в исследования и технологии. И без активных усилий по установлению норм и правил, ограничивающих такой тип хакинга, мы вскоре обнаружим, что нечеловеческие в буквальном смысле возможности систем ИИ обращены против обычных людей в интересах их могущественных хозяев.
55
Компьютеры и искусственный интеллект ускоряют социальный хакинг
Поделиться книгой: