Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта

Нобле также отстаивала идею замедления новых медиа. Из-за моментальной загрузки и распространения контента «платформа не в состоянии просмотреть каждый пост и определить, должен он быть опубликован или нет», – отмечает Нобле[308]. Киберлибертарианцы доказывают, что это означает лишь то, что человеческий контроль попросту устарел. Но Нобле с ними не согласна. Это системы, служащие людям, и их можно перестроить так, чтобы они служили целям человека. Новости на определенные темы должны сначала проверяться, и задержка позволяет такую проверку произвести. Это не значит, что каждый из миллионов постов нуждается в рецензии; скорее, как только история прошла проверку, ею можно делиться мгновенно. Подобное замедление вирусного распространения информации могло бы также создать возможность для более продуманных решений об ограничении (или в некоторых случаях усилении) «алгоритмической амплификации». Она порой приводит к созданию петель обратной связи, которые никак не связаны с качеством и полезностью распространяемой в них информации.

Некоторые апологеты технологии считают, что такие предложения ужасны, поскольку их можно приравнять к цензуре. Однако не существует никакой магической свободы слова, которая была бы уже заложена в систему по умолчанию. Платформы принимали решения о том, позволить ли пользователям отправлять прямые сообщения кому угодно (или только тем, кто с ними в друзьях или кто подписан на них), а также о том, насколько длинными могут быть загружаемые видео и как быстро истории могут распространяться или предлагаться другим пользователям. В настоящий момент почти все эти решения определяются мотивом выгоды: вопрос в том, какое устройство коммуникации более всего максимизирует рекламные прибыли и вовлечение пользователей. Такие подсчеты совершаются мгновенно, и часто они ограничивают (причем иногда довольно существенно) тиражирование того или иного поста. Все, что предлагает Нобле, – это учитывать больше ценностей, включая те, на обсуждение и применение которых требуется больше времени. «Медленные медиа» Нобле, подобные в этом смысле принципу наличия «человека в системе» автономных систем вооружения, представляются вполне разумным подходом[309]. Он не просто обходит незапланированные последствия. Он заставляет «просто» платформы взять на себя обязанности медиа, роль которых они сегодня в действительности играют.

Также есть конкретные примеры амбициозных кураторских проектов, которые нацелены на более высокое качество подачи новостей (пусть даже с меньшей скоростью и охватом) или ключевых предметов, интересных читателям. Например, критик технологий Евгений Морозов руководит командой аналитиков, которые публикуют The Syllabus – тщательно подобранную подборку материалов из определенных медиа, охватывающих десятки различных областей (от здоровья до культуры и от политики до бизнеса). Следуя принципу дополнительности, выражаемому первым новым законом робототехники, The Syllabus обещают «новый эклектический метод, при применении которого люди и алгоритмы должны работать сообща, отыскивая лучшую и наиболее значимую информацию»[310]. Циник может посмеяться над намерением The Syllabus организовать огромные массивы информации эффективнее кудесников из Кремниевой долины. Однако трудно сравнивать замечательную серию материалов команды Морозова, посвященную медиаосвещению «политики ковида», с «инфодемией» дезинформации, доступной на платформах, или просто предполагать, что десятки тысяч сотрудников компаний Facebook, Twitter и Google делают работу намного лучше, чем небольшая команда Морозова[311].

Каковы бы ни были реальные достоинства идеалистической миссии The Syllabus, нужно признать, что подобный мир сотен или тысяч доверенных советчиков мог бы децентрализовать власть эффективнее, чем медленные реформы в Facebook или Google. Эти воронки сетевого внимания оказывают диспропорциональное влияние на то, что мы смотрим и читаем. По мере того как следствия этой сконцентрированной способности убеждать становятся яснее, все больше экспертов по антимонопольному законодательству призывают к их раздроблению[312]. Например, хотя Марк Цукерберг готов утверждать, что контроль его компании над платформами Instagram, Facebook и WhatsApp позволяет заниматься точно таргетированной, настроенной на пользователя рекламой, он создает лакомую добычу для пиар-фирм и государственных агентств, которые стремятся манипулировать выборами. Даже когда подобные сомнительные организации обуздываются, обладание одной фирмой столь огромным массивом данных о пользователях и власти над ними остается незаконным. Разделение подобных базовых коммуникативных предприятий позволило бы снизить ставки столь важной в настоящий момент корпоративной политики. Также разделение позволило бы медиафирмам с большей легкостью требовать более значительную компенсацию за предлагаемые ими человеческие знания и навыки, что определило бы новый баланс цифрового рекламного ландшафта, сегодня благоприятного для технологических компаний[313].

Разрушительная сила сетевого внимания

Жалобы на политическое и культурное влияние сетевых посредников появились давно. Также предметом критики становится их коммерческое воздействие. Интернет-портал на все случаи жизни не может одинаково хорошо служить всем, особенно если одна цель (прибыльность) ставится выше всех остальных. Уязвимые группы населения, которые легко эксплуатировать, могут запросто стать источниками извлечения прибыли.

Посмотрим на то, что поисковая машина Google стала единственным источником самой разной информации, которую могут искать даже люди, оказавшиеся в отчаянном положении. Например, наркозависимые люди, ищущие помощь, часто обращаются к Google, вводя запрос «реабилитационный центр» или «опиоидная зависимость» во всем известной строке поиска. Они не задумываются о существовании бурлящей экосистемы брокеров данных и мошенников, которые стремятся подороже продать дешевые и несертифицированные реабилитационные услуги. Какое-то время поиск «реабилитация рядом со мной» выдавал рекламы третьих сторон, которые делали деньги, продавая лиды. Такие лидогенераторы часто практически никак не проверяли тех, кто платит им, на предмет наличия реальных реабилитационных возможностей. Иногда они графически отмечали собственную незаинтересованность, но на самом деле получали деньги от компаний, которым направляли клиентов. Журналистка Кэт Фергюсон пришла к выводу, что образовавшийся в итоге хаос «отталкивал многих людей от получения нужной им помощи, а в крайнем случае мог напоминать торговлю людьми»[314]. В таком случае может образоваться порочная петля обратной связи: фирмы, которые больше всего тратят на маркетинг (и меньше на реальное лечение), могут вытеснить более качественные компании залпом платных реклам, привлекающих больше клиентов своей назойливостью, что, в свою очередь, приносит дополнительную прибыль, которую можно снова пустить на рекламу. Это как раз та «гонка за внимание», которую должен предотвратить третий новый закон робототехники.

Хотя сторонники машинного обучения признают, что подобная манипуляция является реальной проблемой, они утверждают, что есть дешевые способы разобраться с ней, не привлекая регуляторов и контроль. Они говорят, что для устранения коммерческих перекосов надо пригласить добровольцев, которые бы заполнили спорные страницы поисковых результатов. Например, пользовательский контент на Google-картах может привести людей, которые хотят найти медицинскую помощь, в ближайшие к ним клиники. В книге «Машина, платформа, толпа: овладение нашим цифровым будущим» Эндрю Макафи и Эрик Бриньолфсон представляют подобное взаимодействие крупной интернет-компании (платформы) и ее пользователей (толпы) в качестве наиболее продуктивной синергии[315]. Такие крупные платформы, как Google, могут применять машинное обучение для выполнения многих задач, но также найти способ опереться на «толпу» добровольных интернет-пользователей, чтобы заполнить пробелы, если нужно больше данных или если нужны более качественные данные.

Google, озаботившись возможной негативной рекламой, которую могли создать ссылки на сомнительные центры реабилитации, решил разрабатывать вариант «толпы». Он перестал принимать деньги от центров реабилитации, посчитав, что результаты в поиске должны быть «органическими». Однако мошенники стали манипулировать также и пользовательским содержанием на Google-картах. Анонимные саботажники начали менять телефоны уважаемых реабилитационных клиник на номера лидогенераторов, которые затем отправляли клиентов в низкокачественные клиники[316]. Каковы бы ни были достоинства «толпы» в других контекстах, когда на кону серьезные деньги, системы, основанные на доверии, легко подорвать[317].

Флорида, уставшая от хитростей бессовестных реабилитационных центров, запретила их маркетинг, вводящий клиентов в заблуждение[318]. Не вполне ясно, насколько эффективным был этот запрет.

Практически в каждом штате в США есть закон о защите прав потребителей, и такие законы, вероятно, запрещали наиболее сомнительные практики лидогенераторов реабилитационных клиник, как и сами эти клиники, еще до того, как они попали в поле общественного внимания. У сотрудников правоохранительных органов просто недостаточно ресурсов, чтобы расследовать каждый подозрительный случай, особенно когда цифровые манипуляторы могут легко скрыть свою идентичность и перенести фирму, если расследование началось, в другое место. Крупные интернет-фирмы должны сами заниматься каким-то отсевом, иначе уязвимые группы населения станут жертвами хищников, пытающихся на них нажиться[319].

Справедливое и инклюзивное правление не может быть алгоритмическим

Когда Конгресс США вызвал Марка Цукерберга на слушания о неоднократно замеченной неспособности его социальной сети отсеивать фейковые новости, манипуляции избирателями и злоупотребления данными, гендиректор Facebook говорил одно и то же: чтобы решить эту проблему, мы работаем над искусственным интеллектом. Критики проявили скепсис. Был, к примеру, такой злой заголовок: «ИИ решит самые неприятные проблемы Facebook. Только не спрашивайте, когда и как» [320]. На телеконференции, посвященной финансовой деятельности компании, Цукерберг признал, что на определенных фронтах прогресс может оставаться довольно медленным: «Гораздо проще создать ИИ-систему, которая будет распознавать сосок, чем высказывания, разжигающие ненависть», – пояснил он. Другими словами, поскольку Facebook называет себя «ИИ-компанией», запрет определенных изображений обнаженного тела на платформе получил более высокий приоритет среди менеджеров, чем искоренение высказываний, разжигающих ненависть.

Это мимолетное замечание позволило замять важные споры о цензуре, ценностях и ответственности в сети. Есть совершенно разные взгляды на то, следует ли вообще запрещать изображения обнаженного тела в крупных социальных сетях, и что должно обладать более высоким приоритетом. Политика сайта не всегда последовательна и не исполняется автоматически. Одна из компаний Facebook, а именно Instagram, не позволяет пользователям публиковать фотографии обнаженных тел или их цифровые репрезентации, но допускает рисованные изображения такого рода[321]. Возможно, это различие обосновано стремлением защитить художественные изображения наготы, но запретить порнографические или эксплуатационные. Юридические нормы, определяющие непристойность, построены на подобных различиях; однако также они встроены в гораздо более обширную систему оценок. Вне такого контекста различие физического и цифрового не является надежным критерием различия эстетического и неэстетического: легко представить рисованную порнографию и цифровые рисунки или фотографии обнаженных тел, обладающие значительной художественной ценностью.

Однако различие цифрового и нецифрового очень полезно в другом отношении: намного проще представить будущую систему машинного зрения, которая легко определяет разницу между краской и пикселями, чем машину, которая бы уверенно отличала кадр из начала порнографического фильма от художественной фотографии, документирующей жизнь секс-работников. Первая – задача по простому распознаванию паттерна, и можно представить себе, как сотни тысяч изображений будут безо всяких проблем относиться к той или другой категории, например, силами работников платформы Mechanical Turk компании Amazon (или даже автономной системой машинного обучения)[322]. Вторая задача является предметом морального и эстетического суждения, и это суждение может не только меняться со временем, но также по-разному выноситься в разных местах. Мы не должны позволять ограничениям определенного инструмента (ИИ) задавать половинчатый или неуклюжий подход к сложному культурному и политическому вопросу (сколько изображений обнаженных тел может быть в социальных сетях, которые легко доступны детям)[323].

В хорошо выстроенной политической структуре общество обсуждает пределы непристойности, а регулирующие органы должны решать, что запрещать и что игнорировать, при этом суды могут вступиться за права тех, кто был несправедливо отсеян предубежденными или пристрастными людьми и организациями, принимающими решения. Даже если бы могли в принципе закодировать в 2020 г. суждения о том, какие типы изображений на платформах допустимы, а какие нет, какая ценность была бы у такого кода в 2030 г. или 2040 г.? Взгляды меняются, аудитория и цели платформ расширяются и сокращаются, о чем, к своему неудовольствию, узнали владельцы Tumblr после запрета в этой сети порнографии. Управление в такой ситуации – постоянная обязанность, которую нельзя механизировать раз и навсегда. Также не может быть простым решением и добровольный вклад пользователей, как выяснил Amazon, когда гомофобы отметили тысячи книг о гей-культуре меткой «только для взрослых», чтобы они автоматически скрывались из выдачи. Целеустремленные экстремисты, которым помогают боты и хакеры, могут легко пересилить крепкое большинство. Так называемые тенденции к демократизации в интернете столкнулись с циркулярной пилой монополистов, отказывающихся от своей ответственности, заинтересованных манипуляторов и автоматической «речи» ботов.

Убежденные технофилы готовы утверждать, что решение о том, является ли нагота эстетической или непристойной, заслуживающей или незаслуживающей внимания, – это вопрос исключительно вкуса. Обычно они считают, что вкус «ниже» машинного интеллекта, то есть это какое-то второсортное знание, поскольку его нельзя свести к алгоритму. Но эту иерархию легко перевернуть, отдав приоритет нестандартизируемым суждениям, а не тем, что определяются данными и правилами. Возможно, мы не хотим инвестировать ресурсы в то, чтобы такие решения принимались людьми, выносящими решения и спорящими. Но это должно быть специальное решение о распределении ресурсов, а не следствие диктата неизбежности прогрессивного развития по направлению к искусственному интеллекту.

Право быть забытым: испытание человечной автоматизации

Каждый раз, когда жертвы манипуляций предлагают те или иные меры регулирования, им предсказуемо возражает хор голосов, утверждающих, что, как бы плохо технологические фирмы ни справлялись с этой задачей, государственное вмешательство будет еще хуже. Однако у нас уже есть один важный пример успешной и человечной автоматизации публичной сферы: европейское регулирование автоматического поиска имен, известное как «право на забвение». Для понимания важности этого права представьте, что кто-то создал сайт о худшем, что с вами когда-либо случалось, или о вашем худшем поступке, и что этот сайт всегда выводится в топе результатов при поиске по вашему имени. В США вы в таком случае юридической помощи не найдете; корпоративные лоббисты и идеологи либертарианства выступили единым фронтом, чтобы сделать подобное регулирование политически неприемлемым. Но в Европе «право на забвение» гарантирует, что неумолимая логика чисто алгоритмического поиска не приклеит к человеку навечно «алую букву».

«Право на забвение» – хорошее испытание технологии управления, разделяющей ценности политического общества в целом (а не только тех, кому посчастливилось владеть технологическими компаниями). До появления «права на забвение» руководители Google не раз указывали на необходимость максимальной автоматизации поиска, что согласуется с требованием тех, кто ищет, к качеству получаемой ими услуги[324]. При этом компания отказывалась учитывать интересы тех, кого ищут.

И это классическая стратегия оптимизации ИИ: значительное число соображений отбрасывается для того, чтобы сосредоточиться на более простых результатах (таких как рекламные доходы), которые может отследить и машина. Но если государство не должно пренебрегать интересами значительных групп людей, чтобы облегчить задачу законодателям и бюрократам, точно так же руководители и владельцы ИИ должны в полной мере учитывать проблематичность и размах их воздействия в мире[325]. Такие фирмы фактически управляют цифровыми репутациями, и действовать они должны соответственно.

Граждане ЕС могут удалить из поисковой выдачи информацию, которая является «неадекватной, нерелевантной, больше нерелевантной или чрезмерной», если только возможность найти такую информацию поиском по имени субъекта не является значительным общественным приоритетом[326]. И это стандарт, определить который на практике так же сложно, как и разницу между искусством и порнографией. Однако пользователи сети, поисковые машины и европейские чиновники приложили все силы к тому, чтобы найти баланс между частной заинтересованностью в приватности и общественным правом знать.

Рассмотрим, к примеру, историю женщины, муж которой был убит в 1990-х гг., а спустя десятилетия она выяснила, что, если ее погуглить, в результатах поиска обнаруживается эта история убийства.

Это классический пример потенциально избыточного влияния определенной информации на жизнь человека. Информация не является ложной, поэтому закон о клевете в этой женщине неприменим. Но вот «право на забвение» она могла использовать. Она подала прошение с требованием исключить эти материалы из поисковых результатов о ней. Работник Google согласился и исключил эти результаты. В этом случае не было никакой противостоящей такому решению общественной заинтересованности в доступности этой истории при любом поиске по имени вдовы[327].

Когда Суд Европейского союза объявил о «праве на забвение», защитники свободы слова (многие из которых финансировались Google) обличали его как атаку на свободу высказывания. Жалобы эти оказались несколько преувеличенными; «право на забвение» никак не влияет на источник проблематичной информации, и нет такого права на свободу слова, согласно которому негативную информацию из частной базы данных люди должны были бы видеть привязанной к имени определенного человека. Кроме того, Google и государственные органы довольно разумно подошли к одобрению поступивших запросов. Правовед Джулиа Поулс собрала некоторые ключевые решения по «праву на забвение», сравнив успешные и безуспешные запросы на исключение из поисковой выдачи[328]. Политикам, которых приговаривали к срокам за мошенничество, обычно отказывали в праве удалить новости об их делах из результатов поисков. Тогда как пациенты с ВИЧ, личность которых была раскрыта, удалили ссылки на материалы с упоминанием их имен. Замечательная работа Поулс показывает, как внимательное применение юридических и этических принципов способно подвести к тонким контекстуальным суждениям, которые позволяют возместить репутационный урон жертвам необоснованно заметных результатов, соблюдая при этом право общества на простой доступ к важным фактам о публичных фигурах или должностных лицах, которые пользуются доверием.

Споры о «праве на забвение» затрагивают многие щекотливые вопросы. Запросы педофилов в Европе также не были удовлетворены, хотя их преступления были совершены десятилетия назад; право общества знать перевесило в этом случае их право начать все с нуля. Японский Верховный суд взял за основу тот же принцип, когда отменил решение суда более низкой инстанции удовлетворить запрос на «право на забвение» одного преступника, совершившего сексуальное нападение[329]. Как показывает японская история, даже опытные юристы могут разойтись во мнениях относительно объема и силы такого права, как «право на забвение». С точки зрения тех, кто хочет создать алгоритмическое правосудие, которое будет вершиться с предсказуемостью и неумолимостью арифметических подсчетов, это доказательство ненадежности человеческого суждения. Но если учесть то, насколько тонким должно быть применение силы в новых цифровых областях, человеческая гибкость и креативность – это на самом деле преимущество[330]. Мы должны хорошенько подумать о том, на какой срок нужно стигматизировать определенных лиц и как технология может непреднамеренно удлинить реальный срок подобной стигматизации. Эксперты в области права, а также этики, культуры и технологии – все они должны участвовать в этом обсуждении[331].

Во многих случаях применения «права на забвение» было довольно сложно принять решение, но именно для такой оценки и такого решения и нужны работники-люди. Сегодня модераторы контента уже удаляют порнографические, содержащие сцены насилия или шокирующие изображения, хотя они получают низкую заработную плату и часто трудятся в нечеловеческих условиях[332]. Учитывая чрезвычайно высокую прибыльность ведущих технологических фирм, они могли бы создать для таких работников условия получше. Первым шагом стало бы признание модерации контента отдельной профессией с ее собственными независимыми стандартами профессионализма и охраной труда.

Страницы с результатами поиска – не какое-то первозданное отражение предзаданной цифровой реальности, о чем слишком хорошо известно жертвам несчастий, несправедливости или озлобленных толп. Такие страницы динамичны, и влияние на них оказывают оптимизаторы поисковых машин, инженеры Google, платные рекламные объявления, люди, проверяющие предлагаемые изменения в алгоритмах, и многие иные факторы. Никто не должен предполагать, что эти результаты непременно являются выражением истины, человеческого мнения, позиции компании или какого-то иного аспекта, который заслуживает надежной охраны свободы слова. Если цели приватности, отсутствия дискриминации и справедливых практик обработки данных и будут достигнуты в цифровую эпоху, статус поисковых машин как процессоров и контролеров, как они обычно сами себя характеризуют, должен быть выше статуса «защитников медиа», который они иногда оппортунистически примеривают. Алгоритмическое упорядочивание информации должно стать предметом дискуссии, основанной на общественных стандартах честности и точности. Иначе придется поставить быструю автоматическую коммуникацию выше человеческих ценностей, демократического формирования воли и надлежащей правовой процедуры.

Приручение автоматической публичной сферы

«Право на забвение» является подтверждением работоспособности самой идеи: даже самые обширные вычислительные процессы могут учитывать человеческие ценности. Другие юридические инициативы могли бы помочь бороться с дискриминацией, предубеждением и пропагандой, которые ныне слишком часто засоряют сетевые пространства (и даже заполоняют их). Государства могут потребовать, чтобы платформы отмечали поисковые результаты, связанные с разжиганием ненависти, и другие крайне оскорбительные материалы, следили за ними и разъясняли их.

Например, законодатели должны потребовать от Google и других крупнейших посредников не выводить ссылки на сайты, отрицающие Холокост, или, по крайней мере, существенно снизить их рейтинг. Есть такие идеологии, которые настолько опасны и дискредитированы, что они не заслуживают алгоритмически генерируемой публичности. По крайней мере государство должно потребовать предостерегающей маркировки в очевидном случае высказывания, разжигающего ненависть, которое разгоняется манипулятивными методами. Чтобы не допустить экстремизм в центр публичного внимания, маркировкой можно снабжать исторические ресурсы и группы интересов с обманчиво невинными названиями, которые в действительности проповедуют опасные дискредитированные идеологии. Без такой маркировки упорная банда фанатиков, обладающих базовыми навыками программирования, способна взломать экономику внимания, воспользовавшись неспособностью автоматизированных систем верно размечать и разъяснять источники информации[333].

Автоматические боты изрядно поспособствовали распространению в сети экстремизма, а потому государства должны взять их под контроль. Крупнейшие технологические платформы борются с подобными аккаунтами спустя рукава. У таких платформ две обязанности. Они знают, что пользователям не нравятся утомительные комментарии с каких-то анонимных аккаунтов или просмотры видео, которые нагоняются автоматическими «фермами ботов». С другой стороны, у них не слишком много конкурентов, поэтому нет причин бояться оттока пользователей. В то же время боты повышают показатели вовлечения на платформе, которые являются святыней цифровых маркетологов.

В 2012 г. YouTube «поставил перед компанией задачу достичь миллиарда часов просмотров в день и переписал свою рекомендационную систему, чтобы максимизировать этот показатель»[334]. «Миллиард часов ежедневных просмотров стали для наших технических специалистов путеводной звездой», – сказала гендиректор Сьюзен Воджицки. К неудовольствию пользователей YouTube, эта фиксация на количественных показателях позволила мошенникам манипулировать рекомендациями и создавать трафик для источников опасной дезинформации, о которых мы уже упоминали. Чтобы выявлять и предупреждать подобную манипуляцию, социальные сети вместе с поисковыми машинами должны покончить с ботами, занимающимися подобными махинациями. Если они не смогут сделать этого, законы должны потребовать, чтобы каждый аккаунт раскрывал, кем он управляется: человеком или машиной. Все пользователи должны иметь возможность блокировать аккаунты ботов в пользовательских настройках, а еще лучше, если такая блокировка будет выставлена по умолчанию, так что от пользователя, чтобы открыть ботам и их автоматическим сообщениям доступ в свою новостную ленту, потребуется специально его подтвердить. Некоторые адепты технологии обеспокоены тем, что подобные ограничения могут сказаться на свободе слова. Однако чисто автоматический источник информации и манипуляции, за который не отвечает ни один человек, не должен обладать подобными правами. Государства могут блокировать шумные мини-дроны, которые вторгаются в наше личное пространство для распространения новостей, изображений и рекламы, и та же логика применима и в сети.

Защита свободы слова – для людей и только во вторую очередь (если она к ним вообще применима) для программ, алгоритмов и искусственного интеллекта[335]. Свобода слова для людей – чрезвычайно важная цель, если учесть контекст современных исследований манипуляций публичной сферой по всему свету. Как отметил Джеймс Гриммельман, призывая отнестись к авторскому праву роботов с осторожностью, Первая поправка в приложении к ИИ могла бы систематически отдавать предпочтение машинной речи, а не человеческой[336]. Если людям-ораторам приходится учитывать законы о клевете и другие формы ответственности, наступающей, когда они лгут или искажают истину, как может быть ответственен автономный бот? У него нет репутации или активов, которые он мог бы потерять, поэтому остановить его невозможно.

Гораздо проще изобразить народную поддержку, чем на самом деле создать ее[337]. Когда избиратели и даже государства не могут провести различие между реальным и поддельным выражением мнения, невозможным становится то, что Юрген Хабермас называет «формированием демократической воли». Как доказывает постоянно растущее число эмпирических исследований негативных последствий «высказываний» ботов, в слишком многих сценариях их выступления представляют собой не столько речь, сколько антиречь, то есть хорошо рассчитанную попытку подорвать разумные обсуждения и ввести в заблуждение ничего не подозревающих людей[338]. Для восстановления доверия общества к демократическим процессам государства должны потребовать безотлагательного раскрытия данных, используемых для порождения алгоритмической речи, применяемых алгоритмов, а также таргетирования этой речи. Четвертый новый закон робототехники (предусматривающий атрибуцию ИИ его изобретателем или контролером) требует подобной прозрачности. Фирмы, которые подпадут под это требование, могут утверждать, что их алгоритмы слишком сложны, чтобы их раскрыть. В таком случае власти должны иметь возможность запретить таргетирование и сбор соответствующей информации, поскольку защита свободы слова должна иметь некоторое опознаваемое отношение к человеческому интеллекту. Без такого правила постоянно пополняемая армия ботов грозит заглушить речь реальных людей[339].

Кроме того, власти должны рассмотреть запрет определенных типов манипуляций. В британском Кодексе рекламы на радио и телевидении говорится, что «аудиовизуальные коммерческие передачи не должны применять техники, незаметные для сознания»[340]. В нормах американской Федеральной торговой комиссии прямо указывается на запрет вводящих в заблуждение рекламных объявлений, а также неверных или отсутствующих сведений о спонсорстве. Также государствам будет необходимо разработать более конкретные законы, управляющие все более автоматизируемой публичной сферой. В Калифорнии недавно потребовали, чтобы цифровые боты идентифицировали себя в социальных сетях[341]. Еще один предложенный закон должен «запретить оператору сайта социальной сети совершать сделки по продаже рекламы с программным аккаунтом или пользователем, выполняющим автоматическую задачу, либо с аккаунтом, который не верифицирован оператором в качестве контролируемого реальным человеком»[342]. Это сильные и конкретные законы, которые должны гарантировать то, что критически важные форумы человеческой коммуникации и взаимодействия не будут заглушаться постчеловеческим роем спама, пропаганды и отвлечения.

Как бы ни были привлекательны говорящие роботы, которых рисует научная фантастика, никто не должен романтизировать манипуляционную речь ботов. Логическим завершением laissez-faire в автоматизированной публичной сфере становится вечное сражение за внимание пользователей, которое ведут армии роботов, причем наиболее вероятным победителем станет фирма с наибольшими финансовыми ресурсами. Они смогут микротарге-тировать население любыми «работающими» материалами, чтобы мобилизовать его (и не важно, будет ли это истина, полуправда или ложь, цель которой – манипуляция), раскалывая публичную сферу на миллион персонализированных приватных сфер. Это очень далеко от победы классических ценностей свободы слова (то есть автономии и демократического самоуправления); на самом деле это, скорее, предвестье растворения в сфабрикованном консенсусе фантомной публики. Нераскрытые боты подделывают базовую репутационную валюту, которую люди зарабатывают благодаря своей телесности, поскольку боты неприкрыто нарушают второй новый закон робототехники.

Лучший телефонный робот

Проблема подделки вскоре может перейти из цифрового мира в реальный. Когда в 2018 г. был представлен Google Assistant, он поразил аудиторию, особенно когда гендиректор Сандар Пичаи продемонстрировал Duplex, искусственный интеллект, задача которого – назначать встречи. «Мы хотим наладить связи между пользователями и фирмами», – объяснил Пичаи. «60 % небольших фирм не имеют системы онлайн-букинга», а многие клиенты не любят звонить[343]. Пока он выступал, на экране отображалась команда: «Назначь мне встречу с парикмахером во вторник утром между io и 12 часами». В ответ на эту команду Duplex тут же сделал звонок в салон и пообщался с человеком, который на него ответил. «Привет, я звоню, чтобы договориться о женской стрижке для моего клиента», – сказал Duplex. В этот момент было неясно, что представляет собой голос Duplex – синтетический голос или голос реального человека. Пичаи воспроизвел записи Duplex, когда тот резервировал места в ресторане. Речь бота оказалась удивительно правдоподобной. Когда он что-то промычал в ответ на комментарий работника салона, толпа только ахнула от удовольствия. В более сложном разговоре Duplex переработал совет работника ресторана, который сказал, что в некоторые вечера резервировать места не обязательно. Это был уже не просто автоматический обзвон. Похоже, что Google овладел многими базовыми навыками коммуникации, опираясь на огромную базу данных телефонных разговоров.

Может показаться, что зарезервировать столик в ресторане – не такое уж большое достижение. Руководители проекта Duplex поспешили напомнить изумленной аудитории, что способности ИИ к разговору весьма ограниченны[344]. Тем не менее нетрудно понять, какой путь Duplex прокладывает для дальнейших исследований ИИ. Рассмотрим, к примеру, миллионы сообщений в базах данных таких групп, как Crisis Text Line, которые отправляют SMS клиентам, сталкивающимся с разными проблемами, начиная с несчастных случаев и заканчивая обычной депрессией[345]. Обучать людей отвечать таким клиентам дорого. Нельзя ли предположить, что однажды система, основанная на ИИ, будет сопоставлять жалобы, тревоги и слова отчаяния с выражениями, которые в прошлом были способны успокоить таких людей? Будет ли технология Duplex использоваться на горячих линиях для самоубийц? Да и вообще, не предрекает ли она исчезновения представителей отдела обслуживания клиентов, если любой воображаемый сценарий может запросто обслуживаться ботами, анализирующими постоянно растущую базу данных с жалобами и ответами на них?

На сегодняшний момент ответ на этот вопрос представляется скорее отрицательным. Вскоре Google затопила волна сетевого негодования. Заставлять ничего не подозревающих работников верить, что они имеют дело с человеком, – это, конечно, техническое достижение, но не моральное. Запись, сколько угодно ловкая и персонализированная, претендует на наше внимание и время, но совсем не так, как живой человек по телефону. После появления ряда гневных статей в прессе, Google неохотно признал то, что Duplex должен, когда звонит по телефону, представлять себя в качестве ИИ[346]. Компания также создала возможность для фирм отказаться от получения подобных звонков, приведя тем самым свою услугу в соответствие с обширными требованиями американской Федеральной комиссии по коммуникациям, распространяющимися на роботов – телефонных операторов. Ирония в том, что Duplex сам может потеряться в шквале спам-звонков, поскольку сотрудники ресторана стали игнорировать звонки без привязанного к ним опознаваемого имени.

Негативная реакция на Duplex оказалась столь же примечательной, что и сам продукт. В прошлом на ИИ и роботов в основном жаловались из-за их негибкости. Механические устройства вызывали раздражение, поскольку они были весьма далеки от спонтанности, креативности и уязвимости человека. В последнее время исследователи человекокомпьютерного интерфейса сформулировали теоретическую проблему робота, который «почти человек, но не совсем»[347]. Многие люди, занятые программированием эмоций, то есть попытками симулировать человеческие эмоции средствами роботов, полагают, что при наличии достаточных данных и достаточно продвинутых аудиосимуляций голосов, а также более живых лиц роботы в конечном счете смогут выбраться из «зловещей долины». Вместе с тем реакция на Duplex указывает на другую возможность. «Эксперименты Google, видимо, должны были вводить в заблуждение», – сказал оксфордский исследователь Томас Кинг, когда у него брала интервью известная в сфере технологий журналистка Наташа Ломас[348]. Травис Корте отметил, что «надо, чтобы ИИ звучал не так, как люди, – по той же причине, по которой мы добавляем пахучее вещество в природный газ, который сам по себе запаха не имеет»[349]. Комментарий Корте показывает в новом свете старое замечание, что «большие данные – это новая нефть»: вы должны знать, что имеете дело с большими данными, иначе они взорвутся вам прямо в лицо. Одно дело – разговаривать с человеком (пусть разговор и короткий), но совсем другое – становиться предметом манипуляции притворяющегося человеком ИИ, контролируемого одной из крупнейших мировых компаний.

Duplex может показаться исключением, попыткой перепоручить ИИ малозначительные беседы, которая не окажет долговременного влияния. Однако это лишь вершина айсберга посредников с ИИ, которые приобретают все больше власти над нашим коммуникативным пространством. То, что Duplex делает с отрывками разговоров, YouTube делает с видео, a Facebook – с медиа в целом: все они находят «оптимальное» соответствие, когда дан определенный паттерн слов. Мы не часто вспоминаем об ИИ, когда пролистываем страницу поисковой выдачи, – это и есть признак его коммерческого успеха. У фирм так много данных о наших привычках просмотра тех или иных сайтов, о наших цифровых путешествиях в интернете, наших электронных письмах, SMS и месторасположении, что они могут создавать крайне убедительные машины инфотейнмента, которые способны вызывать привыкание[350]. Чем меньше мы думаем о том, как на нас оказывается влияние, тем мощнее оно может стать[351].

Возвращение к журналистскому профессионализму

Пока государства только начинают осознавать угрозу, созданную автоматизированной публичной сферой. Первой подала пример Германия, где был принят закон, вменяющий платформам ответственность за фейковые новости. Недостаточность систем распознавания, построенных на ИИ, больше в этом случае не может служить извинением. В Нидерландах официальные должностные лица также получили возможность наказывать платформы, на которых распространяются высказывания, разжигающие ненависть или ложь. И все равно ведомства, регулирующие медиа, в обеих странах столкнулись с критикой со стороны прессы, которая воспринимает любые ограничения – даже платформ, которые отбирают у нее доходы, – как посягательство на независимость, добытую таким трудом. Еще хуже ситуация в США, где главный лукавец умудрился использовать выражение «фейковые новости» в качестве эпитета, обращенного против тех именно изданий, которые пытались разоблачить его мошенничества. Политики и знаменитости критиковали такие платформы, как Facebook, за те минимальные шаги, которые были предприняты ими для снижения доступности некоторых теорий заговора или высказываний, разжигающих ненависть. Такое давление означает, что законодательство, которое нацелено на совершенствование ландшафта сетевых медиа, будет приниматься с боем.

Даже если государство не может потребовать аудита и атрибуции выражений в автоматизированной публичной сфере, крупные интернет-платформы могут предпринять некоторые меры по саморегулированию (хотя бы для того, чтобы успокоить пугливых рекламодателей). Они могут нанять больше журналистов, чтобы те проверяли истории, когда последние становятся вирусными, и следили за входящей информацией, настраивая алгоритмы, необходимые для ограничения распространения высказываний, разжигающих ненависть, а также клеветнического контента. Facebook уже начал сотрудничество с некоторыми некоммерческими организациями в этой сфере, однако эта программа плохо финансируется и ее размах достаточно ограничен[352]. Добровольцы сами по себе не могут усмирить волну информации, ставшей оружием, но даже если бы и могли, не стоит надеяться на то, что они будут работать бесплатно. Действительно, в той мере, в какой подобные инициативы факт-чекинга будут работать, у спонсоров факт-чекеров будет значительная возможность навязывать свою собственную повестку. Поэтому лучше, если технологические фирмы признают и оценят профессиональные права и саму идентичность журналистов и редакторов и станут нанимать их как равных партнеров программистов и инженеров, которые будут сообща строить цифровую публичную сферу.

Пока такая позиция непопулярна. Многие в Кремниевой долине полагают, что создание новостных потоков – дело исключительно алгоритмов, за которыми должны следить инженеры[353]. Однако Facebook сам какое-то время придерживался иного мнения, когда нанимал людей-редакторов для блока «трендов», который выводился в списке поиска. Конечно, все это были контрактные работники с низким статусом, которых бесцеремонно выкинули на улицу, когда в одной статье, написанной на основе незначительного количества источников, утверждалось, что в сети подавляется консервативный контент[354]. Вскоре после этого Facebook был завален вышедшими в топ фейковыми новостями, благодаря которым шарлатаны и лжецы смогли добиться немалой публичности и рекламы, не говоря уже о доходных возможностях. Истинный урок всего этого в том, что людям-редакторам в Facebook следует предоставить больше власти, а не меньше, причем их решения должны стать предметом контроля и отчетности. Подобные рабочие места идеальны для профессиональных журналистов, если к ним будут относиться с тем же уважением, с каким в крупных технологических фирмах относятся к инженерам и проектировщикам, и если им будет предоставлена та же автономия. В журналистских школах уже преподают программирование, статистику и анализ данных, которые позволяют заполнить разрыв между секторами технологии и медиа. Также на подобных местах могли бы работать многие местные профессиональные журналисты. После десятилетий сокращений в США к началу 2020 г. осталось примерно 88 тыс. рабочих мест в редакциях и студиях; через несколько месяцев 36 тыс. таких рабочих мест были сокращены[355]. Естественное экономическое изменение должно перенести часть этих экспертных знаний и умений в автоматизированную публичную сферу.

Некоторые исследователи коммуникаций сопротивлялись идее профессионализации сетевого создания контента, его курирования и доставки, отстаивая идею гражданской журналистики, которая должна демократизировать власть прессы, сделав ее доступной для любого человека с компьютером и интернет-подключением. Хотя в теории это прекрасный идеал, на практике он провалился. Неспособность властителей интернета провести различие между статьями из реальной Guardian и Denver Guardian – это не просто нейтральное решение, нацеленное на выравнивание правил информационного поля. Скорее, такая неспособность предсказуемо подпитывает тактики пропаганды, отточенные миллионами долларов, вложенных в данные, пиар и раскрутку. Теневые квазигосударственные акторы хорошо подкованы в темных искусствах искажения, дезинформации и влияния[356]. Свобода для одних – несчастье для других.

В наше время такие крупные конгломераты, как Facebook или Google, действительно берут на себя роль глобальных регуляторов коммуникаций, и уже не важно, плохо это или хорошо. Они должны взять на себя ответственность за эту новую роль, или их раздробят, чтобы это смогли сделать человекосоразмерные организации. Публичную сферу нельзя автоматизировать так же, как конвейер, на котором собираются тостеры. Журналистика как профессия по самому своему существу человечна; и точно так же в редакторских задачах обязательно отражаются человеческие ценности[357]. В этом начинании неизбежно будут возникать глубокие и серьезные конфликты – из-за верного баланса коммерческих и публичных интересов при ранжировании различных источников, из-за прозрачности подобных решений, а также из-за контроля над новостными лентами, который должен быть у отдельных пользователей. Все эти вопросы крайне важны для будущего демократии. Больше нельзя позволять затирать их менеджерам, которые скорее заинтересованы в доходности акций и развитии искусственного интеллекта, чем в базовых демократических институтах и поддерживающем их гражданском обществе.

Гуманизация ИИ автоматизированных медиа

Автоматизированные медиа смогли быстро перестроить коммерческую и политическую жизнь. Фирмы применяли ИИ для решений, которые традиционно принимались менеджерами телестанций или редакторами газет, но с гораздо более мощным эффектом. Платформы в США и Китае изменили читательские и зрительские привычки сотен миллионов людей по всему миру. Новации ударили по газетам и журналистам, когда интернет-платформы стали отнимать доходы у традиционных медиа. Переход к алгоритмически регулируемым социальным сетям в некоторых случаях привел к страшным и даже трагическим последствиям, которые испытали на себе уязвимые группы населения, например мусульманское меньшинство, пострадавшее от толп, которых подстрекали социальные сети. Чуждый интеллект автоматизированных медиа, пагубный для многих демократических государств, на медиарынке, однако, одержал полную победу.

Я говорю о «чуждом», а не просто искусственном интеллекте по нескольким причинам. Прежде всего, он очень далек от паттернов познания, привычных тем, кого он желает заместить. Например, при выборе материала для первой страницы газеты редакторы обычно оценивали новости, опираясь на собственные суждения. У них, конечно, были и коммерческие соображения, а иногда и скрытые мотивы, но решение в принципе все равно можно было сформулировать и приписать определенным людям. Процесс решения о размещении статей в цифровой ленте новостей (или о многочисленных формах алгоритмических медиа, оптимизированных для цифровых сред) становится фрагментированным, как в калейдоскопе. История пользователя, репутация источника новостей, попытки увеличить его популярность и манипулировать ею, а также сотни других переменных – все это мгновенно соизмеряется, сочетаясь в таком виде, который сводит любые качественные факторы к количественным показателям, причем почти всегда этот процесс помещается в черный ящик, который невозможно изучить извне. Исследовать его намного сложнее, чем массмедиа, учитывая персонализацию контента для сотен миллионов индивидов и практически полную невозможность получить действительно репрезентативную выборку того, кто что видел и когда.

Чуждый интеллект указывает также на удаленность менеджеров глобальных технологических компаний от тех следствий в реальном мире, которые влекут их алгоритмы. Такие управленцы могут ввести ту или иную услугу в стране, язык которой неизвестен не только им, но и многим уровням сотрудников, которые перед ними отчитываются. В этом они следуют худшей традиции того, что Торстейн Веблен назвал «абсентеистской собственностью», то есть традиции удаленных контролеров, которые плохо понимают контекст своего бизнеса и его влияние[358]. Когда крупная фирма покупает магазин за тысячи миль от своей штаб-квартиры, обычно она оценивает его эффективность по достаточно грубым показателям, не слишком интересуясь жизнью общества, в котором этот магазин существует. При новом руководстве он, возможно, проигнорирует традиционные функции, которые ранее выполнял, чтобы максимизировать прибыли в соответствии с требованиями абсентеистского собственника. Тогда как актуальный собственник, сам являющийся членом локального сообщества, скорее всего, будет управлять магазином так, чтобы он соответствовал интересам и ценностям этого сообщества, поскольку ему самому выгодно улучшение ситуации последнего, вызванное его работой, и точно так же он пострадает, если результатом работы магазина будет ухудшение этой ситуации. То же самое мы можем сказать о местной журналистике и местных медиа, которые были уничтожены преобразованиями, обогатившими Facebook и Google. Возможно, такая журналистика служила местным интересам плохо, но у нее были хоть какие-то реальные ставки в своем регионе. Газета вроде Baltimore Sun не может пережить упадка родного города, тогда как технологические гиганты такую трагедию могут и не заметить[359].

Наконец, пользователи этих автоматизированных медиа слишком легко становятся жертвами отчуждения, угнетающего чувства бессмысленности и фрагментации, которое может легко перейти в экстремизм или эскапизм. Подлинный анализ такого отчуждения выходит далеко за пределы лишенной контекста критики эхо-камер, распространившейся в XXI в. во время первой волны критики социальных сетей. Скорее, в нем должна найти отражение критическая теория, созданная в ответ на авторитаризм 1930-х гг. Особенно когда дело доходит до политики, когда граждане погружаются в то, что Рахель Иегги назвала «отношением без отношения», когда все основные политические партии относятся к ним с безразличием или даже угрожают им, тогда-то создаются условия для радикальной деградации публичной сферы[360]. Наиболее успешные авторитарные популисты нашего времени эксплуатировали это широко распространившееся отчуждение, обратив накопившееся недовольство в деструктивные политические программы.

Новые законы робототехники не смогут решить все эти проблемы. Это серьезные проблемы не только для демократии, но и для любого политического сообщества. Тем не менее, если подписаться под принципами дополнительности, аутентичности, кооперации и атрибуции, это станет существенным шагом к будущему гуманных медиа. Обновление журналистики, редакторского дела и кураторства, которые должны стать устойчивыми и хорошо вознаграждаемыми профессиями, даст нам хотя бы шанс в борьбе с тиранией посредников, опирающихся на ИИ (а также с армией пиар-экспертов и консультантов, умело ими манипулирующих). Требование раскрытия ботов предоставит пользователям и платформам важную информацию, которая необходима, чтобы самостоятельно определить нужное сочетание компьютерного и человеческого взаимодействия. Новая балансировка компьютерного и профессионального суждения должна снизить уровень отчуждения, и того же результата должен достичь культурный сдвиг от пассивного доверия посредникам, поставляющим новости и аналитические материалы, к более специализированным кураторам, обладающим более прямыми и локальными связями со своей аудиторией.

ИИ может защищать свободу слова, если он правильно ограничен четырьмя новыми законами робототехники. ИИ не может заменить журналистского суждения или даже суждения многочисленных «модераторов контента», которые ищут незаконные, отвратительные или наполненные ненавистью посты. Спровоцировав гонку таргетированного рынка между фирмами, политиками и пропагандистами, крупные фирмы, опирающиеся на ИИ, снизили денежную прибыль, которая ранее позволяла журналистике стоять на ногах гораздо крепче. Некоторую часть этих денег надо вернуть профессиональным журналистам, одновременно старым и новым институтам, опирающимся на истину (и оформляющим консенсус)[361]. Это особенно важно, когда создатели ботов и дипфейков становятся все более изощренными. Четвертый закон робототехники, предписывающий прямую и четкую атрибуцию, должен управлять регулированием «проблемы фейковых медиа», как и второй закон, запрещающий вводящее в заблуждение подражание человеческим действиям. Не должно быть так, чтобы для отличия твитов и видео, представляющих аутентичный контент или, наоборот, являющихся попросту подстроенным спектаклем, человеку требовалась ученая степень по цифровой криминалистике.

Платформы можно реформировать, и исследователи коммуникации разработали вполне убедительные представления о том, как проектировать ИИ, чтобы он дополнял, а не спешно заменял редакторов, журналистов и работников творческих профессий, которые ныне зажаты в тисках мощных посредников. Этим предложениям, в целом вполне достойным, потребуется, чтобы созреть, поддерживающая их политико-экономическая среда, создаваемая четырьмя новыми законами робототехники. При правильном применении эти законы помогут предотвратить худшие эксцессы автоматизированной публичной сферы.

5. Машины, судящие людей

Представьте, что вам отказали в работе просто из-за тональности вашего голоса. Фирмы нанимают сегодня рекрутеров, которые используют распознавание лиц и голоса для оценки нервозности, настроения и паттернов поведения», и все это для того, чтобы понять, кто действительно «соответствует духу» компании. ИИ использовался в таких крупных компаниях, как PWC, L’Oreal, Mars и Citibank[362].

С точки зрения защитников ИИ как инструмента подбора кадров, сканирование лиц и голоса представляется лишь следующим логическим шагом после программ, сортирующих резюме. Если машина может автоматически отвергнуть сотни резюме, почему бы не позволить ей судить о более тонких материях?

Вполне очевидной и уже реальной опасностью является дискриминация. Программное обеспечение способно исключать меньшинства, которые недостаточно представлены в массиве данных ИИ. Феминистски поспешили напомнить фирмам о том, что внешний вид и голос «образцовых сотрудников» может быть связан не только с реальными компетенциями, но и с застарелым сексизмом. Если женщины не были частью управляющей команды в прошлом, они не могут определять массив данных, который предсказывает будущих звезд. Подтверждая такие опасения, группа по защите прав Upturn опубликовала подробный доклад по проблемным алгоритмам найма, рекомендуя принять «активные меры для выявления и устранения перекосов в их инструментах»[363]. Например, работодатели могли бы давать второй шанс особенно перспективным кандидатам, отсеянным фильтрующим ИИ.

Анализ лиц и голосов подрывает также принципы достоинства и автономии. Одно дело, когда ваше резюме анализирует ИИ, и совсем другое – когда о вас судят по непонятным характеристикам вашего поведения и умения себя держать. Я сам выбираю, что включать в резюме; но я не могу определить, не раскрывается ли мой глаз на один лишний миллиметр, когда интервьюер говорит что-то неожиданное. Конечно, собеседования с людьми часто оказываются неловкими и натужными; умелые вруны могут заговорить интервьюера и получить незаслуженную позицию, тогда как другие, более квалифицированные претенденты, – провалиться. И все же чисто механический анализ внешнего вида, осанки и поведения представляется проявлением неуважения. Нам известно, что топ-менеджмент фирмы набирают не так. Почему же подвергать других сотрудников такой бесчеловечной процедуре?

Когда все чаще машины начинают судить людей, возможны по крайней мере четыре разные реакции. Некоторые попытаются найти способ использовать систему, выполнив обратный инжиниринг неявных признаков ловкости, соответствия «духу компании» и любых других характеристик, которые должен предсказывать ИИ. Другая группа попытается повысить точность таких систем; третья, менее значительная, попытается сделать их более справедливыми – техническими методами либо регулированием. Наконец, четвертая группа будет выступать за полный запрет машинных суждений, то есть за то, чтобы в некоторых контекстах они не использовались, или потребует обязательного наличия человека в цепочке решений.

В этой главе основное внимание уделяется двум последним группам – тем, кто хотел бы скорректировать или устранить оценивающий ИИ, который претендует на измерение надежности, кредитоспособности, преступности людей, а также их общего «соответствия» рабочим местам или льготным программам. Машинные суждения о людях очень далеки от распознания изображений в медицине, где все согласны с тем, что усовершенствование технологии действительно служит человечеству[364]. Обнаружение опухоли в легком – совсем не то же самое, что выявление человека, который никуда не годен. Должны ли всевидящие компьютерные глаза усеивать наши школы, улицы и больницы и должны ли они следить за каждым нажатием клавиши – это действительно спорный вопрос. И то же самое можно сказать о новых способах оценки надежности и кредитоспособности, в частности на основе «граничных» данных, собираемых финансово-технологическими стартапами.

Движение в защиту справедливости, подотчетности и прозрачности в машинном обучении предложило много разных способов усовершенствования ИИ, который ныне оценивает человеческие усилия, внимательность, кредитоспособность и достоинство[365]. Но есть немало оснований и для заблаговременного запрета многих подобных технологий, за которым может последовать специальное лицензирование некоторых из них. Например, в целом за школами не должен следить взгляд системы Hikvision (о которой упоминалось в третьей главе), однако мы можем допустить, что она могла бы оказаться полезной в больнице, в которой выявлены случаи злоупотреблений или халатности. Но даже и там следует поставить под вопрос идею компьютерной оценки качества медицинской помощи или квалификации работников. Люди обязаны уделять друг другу внимание и объясняться на человеческом языке, и эту критическую функцию нельзя передать непрозрачному и неподотчетному программному обеспечению.

Привлекательные черты (и опасность) роботизированных суждений

Представьте, что вы получили повестку в суд. Явившись в зал суда, вы обнаруживаете, что там никого нет. Киоск, который там находится, фотографирует вас и выводит на экране инструкцию: вы должны занять место с цифрой 9. Голос из киоска, представляющий собой нечто среднее между голосами Сири и Алексы, заявляет, что ваше дело – девятое по счету. Когда все расселись, звучит объявление: «Всем встать». Занавес в передней части комнаты поднимается и показывает другой экран, с изображением человека в судебной тоге. Лицо судьи – одно из миллионов сфабрикованных лиц, которые порождаются состязательными сетями[366]. Оно составлено на основе изображений судей в выборке из io тыс. фильмов, обычно используемых исследователями ИИ. То есть это ИИ-версия судьи, как он видится при кастинге актеров.

Робот-пристав называет ваше дело, вы выходите за ограждение к стулу и столу, которые установлены для ответчиков. Аватар судьи начинает говорить: «Вы признаны виновным в критической массе правонарушений. Ваш автомобиль по крайней мере десять раз за два последних года превысил допустимую скорость как минимум на пять миль в час. В прошлом году вы нелегально скачали три фильма. На вечеринке вы курили марихуану. Согласно нашему алгоритмическому судебному решению, оптимальным наказанием за этот комплекс правонарушений будет вычитание сорока пунктов из вашего рейтинга, штраф в сумме 5 % от ваших активов и ваше согласие на установку в вашем доме камеры с алгоритмическим мониторингом на следующие шесть месяцев, чтобы вы не смогли снова нарушить закон. Если вы хотите подать апелляцию, пожалуйста, введите основания для апелляции в приложении „Скорое правосудие“, только что загруженном на ваш телефон. Если нет, пожалуйста, выйдите через ту же дверь, через которую вошли, и получите дальнейшие инструкции в автоматическом киоске».

Этот сценарий может показаться забавной научной фантастикой – некоей смесью Франца Кафки и Филиппа К. Дика[367]. Но в то же время можно сказать, что в нем отражены три актуальные тенденции социального контроля. Первая – повсеместное наблюдение, то есть способность записывать и анализировать каждый момент жизни людей. Вторая – запрос на умные города, которые динамически выдают штрафы или, наоборот, награды за запрещенное или поощряемое поведение. Футуристы рассматривают полицейское регулирование на базе результатов, которое позволит отказаться от старомодного права и перейти к более гибким оценкам общественного порядка. В этом идеале порядка без права, если на громкую вечеринку подано достаточное количество жалоб, она считается незаконной; если нет, она может продолжаться. Третья – попытка заменить людей машинами. Если охранники и полиция нуждаются в зарплатах и пенсиях, то роботам только и нужно, что электричество и обновление программ. Возможно, в будущем охраной правопорядка будут заниматься рои дронов, готовых остановить любого преступника или подозреваемого.

Искусственный интеллект и роботы в охране порядка и управлении сегодня в основном обосновываются экономическим нарративом, сосредоточенным на более эффективном применении ресурсов. Дроны, камеры наружного наблюдения и роботы – все это может быть намного дешевле, чем батальоны офицеров полиции. Они могут оказаться и более эффективными, к тому же, скорее всего, они будут реже наносить ущерб подозреваемым или выбирать неправильные цели. Но во всем этом сохраняется определенная двусмысленность, ощущение не только приобретения, но и утраты, возникающее, когда государство слишком далеко уходит по этой траектории контроля[368]. Государство всегда выступает защитником и в то же время потенциальной угрозой, источником помощи и агентом подавления. Полиция способна защитить мирных протестующих от враждебной толпы, но также она может арестовывать их и бросать в тюрьмы. Еще неприятнее то, что плюсы и минусы государственной силы слишком часто распределяются произвольным и дискриминирующим образом. Полиция оказывает непропорциональное давление на меньшинства – на афроамериканцев в США, уйгуров в Китае и жителей фавел в Бразилии.

Сообщества, стремящиеся утвердить верховенство права, нашли способы сгладить подобную несправедливость. Гражданские апелляционные комиссии и суды способны ограничивать полицейский произвол, назначая компенсации, когда нарушены гражданские права. Четвертая поправка Конституции США запрещает «общие ордеры», которые являются разрешениями общего характера на обыски и арест имущества и лиц без убедительной причины. Другие организации и структуры, поддерживающие права человека, предлагают еще более надежную защиту от полицейского государства. Все эти способы защиты снижают эффективность полицейских мер[369]. То есть наши обычные стандарты промышленной результативности не слишком хорошо сочетаются с такой социальной практикой, как охрана общественного порядка.

Программы и ИИ уже определяют значительную часть труда охранников и полицейских, то есть ту обширную область служб безопасности (как кибернетической, так и физической), полиции и армии, которая потребляет значительную долю мировых производительных сил[370]. Существуют проекты программирования таких роботов, которые будут безусловно соблюдать международное право, поскольку на них не влияют человеческие предубеждения, страсти или предрассудки. Профессор права Беннет Кейперс представил в своей работе будущее, в котором значительно компьютеризированные полицейские силы будут защищать всех и каждого, подчинив все население США контролю необычайно высокой интенсивности[371]. В его афрофутуристическом описании технология охраны правопорядка будет встроена в более мягкий и великодушный социальный порядок. Кейперс надеется на то, что «те немногие судебные разбирательства, которые понадобятся, будут не вполне „машинным судом“, но могут приблизиться к этой форме, поскольку она позволит исключить предубеждения, которые в наше время нередко влияют на судопроизводство».

Австралийский исследователь права и декан университета Дэн Хантер считает, что благодаря ИИ тюрьмы могут закрыться[372]. Если у нас будет достаточно сложная компьютерная система, все будущие приговоры могут отбываться в виде домашнего ареста. Учитывая скуку и уровень насилия, с которым сталкиваются многие заключенные тюрем, такая идея может показаться значительным шагом вперед в области наказания и реабилитации. Однако планы Хантера по «Проекту технологического заключения» содержат также идеи, которые пришлись бы кстати в «Особом мнении». В обмен на отбывание срока дома «правонарушители должны носить специальный электронный браслет, способный на обездвиживающий удар электротока в случае, если алгоритм замечает, что вот-вот будет совершено новое преступление или применено насилие. Такая оценка может производиться на основе ряда биометрических факторов, распознавания голоса и анализа лиц»[373]. Таково определение автоматизированного правосудия. Соответственно, не будет шанса подать апелляцию судье или ходатайство о помиловании, если искусственный интеллект уже вынес приговор. Ведь он будет и судьей, и присяжными, и, возможно, палачом, если система неправильно рассчитает удар током.

Технофилы потчуют нас особенно яркими и четкими картинами господствующего подхода к ИИ в области охраны правопорядка. С их точки зрения, ИИ и роботы неизбежно возьмут на себя задачи полиции, и наша задача (как граждан, исследователей и технологов) – помочь им как можно лучше выполнять эту работу. Например, если системы распознавания лиц не могут распознавать лица черных с той же точностью, что и белых, значит, надо внести больше черных лиц в базу данных. Но мы должны отступить на один шаг назад и выяснить, почему всеобщий надзор или тюрьмы в виртуальной реальности многим кажутся столь привлекательным решением. Вспомним о притягательности заместительного ИИ, о котором мы говорили в начале книги: чем хуже люди выполняют определенную работу или чем она дороже, тем больше будет мотивов передать ее машинам. Когда насилие и скука плохо управляемой тюрьмы – единственная альтернатива, постоянный домашний мониторинг средствами робота, оснащенного электрошокером, кажется не таким уж плохим вариантом. Бесстыдно расистский послужной список многих полицейских департаментов – вот из-за чего афрофутуристский робокоп кажется столь решительным прыжком в будущее.

Но что именно будет потеряно, если мы согласимся с этой логикой реформизма, когда на самом деле необходимы гораздо более глубокие перемены? Профессор афроамериканских исследований из Принстона Руха Бенджамин утверждает, что «альтернативы тюрьмам, считающиеся более гуманными и составляющие часть все более широкого спектра „технокоррекций“, должны называться тем словом, которого они заслуживают, а именно grilletes („кандалы“ по-испански)»[374]. Когда полиция и тюремщики стремятся срочно внедрить ИИ и роботов, в этой суматохе теряются холистические подходы к проблеме социального контроля. К тому же без внимания остается более важный ущерб, который может нанести технология в любой из подобных версий.

Что если со сценарием «Особого мнения» следовало бы сравнивать не стандартную тюрьму (с ее забитыми камерами, неудобными кроватями и плохой едой), а одну из «открытых тюрем», которые используются в Скандинавии? В таких исправительных учреждениях управляющие (а не охранники) предоставляют заключенным солнечные комнаты и возможность готовить себе еду и убирать свое жилье. В тюрьмах есть учебные курсы, работа, на которой заключенных не эксплуатируют, и профессиональное обучение. Здесь наблюдается тот уровень доверия, которого практически не встретишь в тюрьмах США, Китая или России[375]. Конечно, подобные скандинавские тюрьмы – не загородные клубы, они существенно ограничивают свободу правонарушителей. Однако к преступникам они относятся с тем минимальным уважением, которого явно не хватает как обычным тюрьмам, так и технологическим «новациям», приходящим им на смену. В полиции также наблюдается все более широкое движение, стремящееся остановить, а не исправить многие неприятные практики.

Нераспознание как неуважение

По крайней мере в двух крупных департаментах полиции в Британии были внедрены сканеры лиц для «идентификации и мониторинга мелких преступников, людей с психическими расстройствами и мирных протестующих». НПО Big Brother Watch выяснила, что более 90 % предположительных «совпадений» были ложноположительными[376]. В принципе эту проблему можно решить применением более качественной технологии или более крупными базами данных, состоящими из размеченных фотографий, взятых из социальных сетей. Однако в этом проекте заметно и иное нераспознание, которое не является технической проблемой. Почему психически больные объединены в одну группу с заключенными? Почему у государства вообще есть база данных мирных протестующих? Наконец, кто разрешил властям связать и так уже сомнительные классификации с технологией, созданной, чтобы уничтожить все сохранявшиеся доселе права на неизвестность, то есть на то, чтобы сохранять анонимность в толпе?[377] Распространение машинного зрения привело к тому, что критики обеспокоились не только эффективностью этой технологии. Они ставят под вопрос структуры власти, которые она поддерживает и закрепляет.

Подобное злоупотребление распознаванием лиц все чаще встречается как в общественном, так и частном секторах. Исследовательница из MIT Джой Буоламвини собрала данные, подтверждающие распространенность сбоев коммерческих программ распознавания лиц (РЛ), не всегда способных идентифицировать представителей меньшинств, особенно если это женщины[378]. Такое машинное зрение она называет «кодированным взглядом», который отражает «приоритеты, предпочтения, а также иногда и предубеждения тех, у кого есть право определять такую технологию»[379]. Примеры найти несложно, даже в самых богатых фирмах. Программа Rekognition компании Amazon нашла несколько ложных совпадений, когда Американский союз гражданских свобод попросил ее проверить, можно ли в числе членов американского Конгресса найти преступников из базы данных, определив их по лицу. Также она слишком часто идентифицировала в качестве преступников представителей меньшинств[380]. Система компании Amazon работала настолько плохо, что многие другие крупные технологические компании потребовали регулирования, хотя это и могло повредить их собственным прибылям.

Сегодня фирмы стремятся гарантировать адекватное количество лиц представителей меньшинств в соответствующих базах данных. Но некоторые защитники гражданских прав утверждают, что неполнота баз данных распознавания лиц – вещь хорошая. Вспоминая о трагическом американском наследии полицейского расистского насилия, которое сохраняется и по сей день, исследовательница и активистка Зое Самудзи утверждает: «…если черные станут одинаково видимыми для программ, что в дальнейшем будет использовано в качестве оружия против нас, это нельзя признать социальным прогрессом»[381]. Если убрать некоторые перекосы в системах распознавания лиц (например, включить в них большее число лиц представителей меньшинств), другие перекосы могут стать еще серьезнее. Председатель Исследовательского совета социальных наук Алондра Нельсон заявила, что ей трудно «понять, почему мы хотим, чтобы черные сообщества были лучше представлены в системах распознавания лиц, которые чаще всего используются для контроля»[382]. Исключить ложноположительные опознания – важная цель. Однако следует рассмотреть и общий эффект распознавания лиц, о чем не раз предупреждали исследователь права Вудро Хартцог и философ Ивэн Селинджер в своих выступлениях, требуя запрета этой технологии[383].

Футуристически настроенные консультанты полиции стремятся снабдить списками разыскиваемых лиц глобальную сеть телекамер, чтобы вылавливать преступников. Но действительно ли мы хотим, чтобы у корпораций и полиции была способность сопоставлять всякое лицо с именем, а также с алгоритмически порождаемым и часто тайным досье?[384] Вполне возможно, что на распознавание лиц надо ответить тем же рефлекторным «нет», которым были встречены очки Google Glass. Google рекламировал очки с камерами в качестве простого способа дополнения реальности, позволяющего распознавать знакомых и выводить карту незнакомого пространства. Но многие из тех, кто попались на глаза людям, носившим Google Glass, сочли очки с камерами угрозой. Возникли неудобные вопросы об этикете Google Glass в общественных туалетах. Технология не смогла закрепиться, и критики набросились на ее первых поклонников, которых прозвали glassholes (очкодурками). Даже несколько десятилетий назад человека, который везде таскал с собой видеокамеру, сочли бы параноиком или чудиком. Следует ли считать, что миниатюризации (или почти полной невидимости, если говорить о новом поколении удаленных сенсоров) достаточно, чтобы отнестись сегодня к той же технологии с большей теплотой? Нет. На самом деле ненавязчивость еще более опасна, поскольку люди даже не будут знать, что за ними наблюдают. Кроме того, биометрические тепловые отпечатки лица должны трактоваться по аналогии с отпечатками пальцев или номерами банковских счетов, то есть в качестве того, что нельзя просто так собирать или распространять[385]. Для этого требуется лицензия, а также регулярные аудиты, проводимые органами власти, чтобы предупредить злоупотребления.

В связи с расширением биометрических баз данных, которые охватывают все большее количество населения, особое значение приобретает динамика власти. В статье «Пекинскому Большому Брату нужны африканские лица», вышедшей в Foreign Affairs, Эми Хокинс отметила, что «Китай получит огромное преимущество, если благодаря тренировке систем распознавания лиц сможет… исключить из них расовые предубеждения», но в то же время «совершенствование» этой технологии подстегивает авторитаризм[386]. Если бы в Южной Африке была та технологическая инфраструктура, которая сегодня есть у Пекина в Синьцзян-Уйгурском автономном районе, где преимущественно проживают мусульмане, смогло бы там развиться движение против апартеида?[387] Сложно придумать историю, в которой такой аппарат сыграл бы на руку будущему Манделе.

К счастью, есть хорошо проработанные методы регулирования опасной (даже если иногда и полезной) технологии. Люк Старк из Microsoft Research назвал распознавание лиц «плутонием ИИ». Старк объясняет: «Плутоний применяется в специальных и строго контролируемых областях деятельности, у него настолько высокая токсичность, что его оборот управляется международными соглашениями, и по возможности его производства следует избегать»[388]. С точки зрения Старка, у распознавания лиц столько негативных следствий – например, авторитарные режимы могут, опираясь на него, отбелить свои расовые стереотипы авторитетом науки, – что оно заслуживает схожих предосторожностей и ограничений. Было бы разумно, если бы государства разрабатывали специализированные базы данные ограниченного применения, используемые исключительно для предотвращения пандемии или терроризма. Однако применять столь мощную технологию для выписывания штрафов людям, превысившим скорость, для ограничения мошенничества со льготами или ловли воришек – это все равно что стрелять из пушки по воробьям[389].

Предложение Старка особенно интересно, поскольку оно позволяет расширить логику ограничения власти машин, а именно логику ограничения насилия, с которой обычно все соглашаются. Никто не должен иметь возможность купить или оснастить беспилотный автомобиль пулеметом на крыше без определенной лицензии; это просто здравый смысл: танки нужны для войны, а не личных армий. Многие случаи применения технологии распознавания лиц влекут структурное насилие, включающее отнесение отдельных людей к тому или иному типажу, их мониторинг на рабочем месте и дома, наконец, просеивание баз данных для поиска способов манипуляции ими. Ограничение технологии распознавания лиц даст по крайней мере некоторую свободу анонимного передвижения, при котором местонахождение и идентичность человека не будут отслеживаться пристальным взором[390].

К сожалению, во многих обществах один из всадников правовой безответственности – фундаментализм свободы слова – способен покончить с разумными схемами лицензирования. Требуя всеобщего права на «научную свободу», фирмы заявляли, что у государства не должно быть права говорить им, какие данные они могут собирать или исследовать. Самая большая ирония тут в том, что корпоративное утверждение конституционных прав ведет к созданию баз данных, которые будут оказывать огромное и при этом достаточно пагубное влияние на свободу слова обычных граждан. Одно дело – идти на митинг, когда службы безопасности наблюдают за ним издалека. И совсем другое – когда полиция может сразу же определить ваши имя, адрес, место работы, используя для этого скан лица, приобретенный у какой-нибудь частной фирмы, которая ни перед кем не отчитывается.

Защитники личных прав высказывали и опасения, связанные с точностью подобных баз данных. Как показали Дана Прист и Билл Аркин в документальном сериале Top Secret America, существуют сотни организаций, имеющих доступ к огромным запасам данных о гражданах США. Со времен откровений Сноудена эта поразительная способность собирать данные об индивидах вызывает беспокойство среди исследователей, защитников гражданских свобод и практически у каждого гражданина, понимающего, насколько ошибочными могут быть решения, опирающиеся, как утверждается, на данные. Ставки высоки: люди попадают в черные списки, запрещающие им работать, голосовать, летать на самолетах, получать гражданство. Те, кто стали жертвой необоснованно, обычно не могут ни к кому обратиться, а потому в итоге увязают в бесполезных запросах, пересылаемых от одного ведомства другому. Результатом оказывается поистине кафкианское надругательство над базовыми принципами прозрачности и законного юридического процесса. Многие режимы практически никогда не дают обычным гражданам доступ к решениям, которые о них выносят правительства и фирмы, и это не говоря уже о том, чтобы такие решения оспорить. Моральный аргумент в пользу «управления средствами ИИ» рассыпается, когда нет таких базовых гарантий[391].

Судить о книге по обложке: от распознавания лиц к их анализу

Из-за анализа лиц эта и так уже неприемлемая ситуация может серьезно ухудшиться. Некоторые выдающиеся исследователи машинного обучения утверждают, что по лицу можно понять нашу сексуальную ориентацию и интеллект[392]. На основе базы данных лиц заключенных могут быть созданы стереотипические изображения криминальных черт лица[393]. Один из стартаперов заявил, что может выявлять черты педофилов и террористов и что его технология используется спецслужбами по всему миру[394].

Критики оспорили точность подобных предсказаний. Тренировочные данные, состоящие из лиц заключенных, представляют не преступность, а, скорее, преступников, которые были пойманы, заключены в тюрьму и сфотографированы. Значительный процент преступников никогда не ловят или не наказывают, поэтому подобные данные не могут адекватно представлять преступность как таковую. Исследование, претендующее на идентификацию лиц геев, возможно, отобрало определенные паттерны саморепрезентации людей, использующих сайты знакомств, ставших источниками фотографий «геев» и «не геев», использованных для тренировки классификационной системы. Геи и лесбиянки в определенное время и в определенном месте, возможно, и в самом деле в большей или меньшей степени склонны носить очки, бороды или усы, улыбаться или, наоборот, выглядеть серьезно.

Как отмечает Дэн Маккиллан, машинное обучение часто выдвигает сильные предсказания, «склоняя к сравнениям с наукой. Но фактически оно производит знание, которое, не будучи универсальным и объективным, неразрывно связано с определенными вычислительными механизмами и данными, 84 использованными для тренировки»[395].

Все эти недостатки подкрепляют более общую критику многих непрозрачных форм машинных суждений; оставаясь необъясненными (или необъяснимыми), они могут быть надежными или, наоборот, ненадежными в зависимости от репрезентативности тренировочных данных[396]. К примеру, представьте переполненный зал суда, в котором применяется обработка естественного языка для определения того, какой из актуальных исков более всего напоминает те, что были удовлетворены в прошлом, а потому при структурировании порядка рассмотрения дел предпочтение отдается именно им. Поскольку прошлые иски отражают прошлые условия, которые более недействительны, они не могут быть надежным ориентиром для того, какие актуальные иски на самом деле заслуживают внимания[397]. Более объяснимая система, которая бы показывала, почему она выделяет определенные слова и фразы в качестве признаков действительно серьезного или обоснованного иска, была бы полезнее. Но даже ее ценность снижается при изменении типов рассматриваемых дел, приоритетов судей и других факторов[398].

Перед предсказанием преступной деятельности методами ИИ стоит еще больше препятствий. Как пояснил Кил Бреннан-Маркес, юриспруденция, основанная на принципе хорошо обоснованного сомнения (и в целом опирающаяся на Четвертую поправку Конституции США), требует того, чтобы органы власти предоставили убедительное, а не просто вероятностное, статистическое или искусственно-интеллектуальное объяснение причин, по которым они производят расследование в отношении данных подозреваемых[399]. Нам нужно понимать не только то, что мы под наблюдением, но также и то, почему это так. Это ограничение государственной власти, которой, вероятно, очень хочется использовать передовые технологии наблюдения для полного контроля граждан. Предсказательная аналитика, работающая как черный ящик, легко может дать полиции предлог для преследования практического любого, поскольку все мы с равной вероятностью демонстрируем поведение, которое в каком-то смысле коррелирует с поведением потенциальных преступников.

Отсутствие причинно-следственной связи (противопоставляемой простой корреляции) указывает на еще один неприятный аспект предсказаний, основанных на лицах. За неимением данных, подтверждающих то, что форма лица действительно влияет на преступные наклонности, обосновывать полицейские меры простой корреляцией – довольно жутковатое решение. В действительности оно стало бы возвышением чуждого, нечеловеческого интеллекта в той системе, в которой ключевым фактором легитимности является человеческий смысл и коммуникация[400]. Если мы действительно можем сказать людям, что в определенном смысле благодаря изменению своего лица он могут снизить вероятность стать преступниками, тогда операции на основе больших данных указывают на перспективу исключительно интенсивного и высокоточного социального контроля. Подобный тупик, образованный манипуляцией, исходящей от черного ящика, и в то же время интимным контролем, указывает на необходимость остановить работы в этом направлении.

Теми же предосторожностями следует руководствоваться и в приложениях эмоционального программирования. Фирма Affectiva заявляет, что у нее чуть ли не лучший «анализ чувств» в мире. Используя базы данных с миллионами лиц, размеченных по эмоциям, представители Affectiva считают, что их ИИ может считывать грусть, радость, отвращение и многие другие чувства, анализируя видеозаписи лиц. Спрос на такой анализ велик. Американские военные, уставшие от процедуры получения допуска, хотят найти ИИ, который бы отмечал подозрительные выражения[401]. Существуют многочисленные полицейские, специальные и военные приложения детекторов эмоций, которые восходят еще к детекторам лжи (являющимся весьма спорным предметом, к тому же в США при найме запрещены)[402]. Рана эль-Калиуби, гендиректор и один из основателей компании Affectiva, отказалась предоставлять лицензию на эту технологию государству, однако признает, что распознавание эмоций является обоюдоострым мечом, где бы он ни использовался. Она описывает рабочее место будущего, на котором будет реализован постоянный мониторинг эмоциональных состояний сотрудников:

Я думаю, было бы очень интересно, если бы люди согласились участвовать в эксперименте на анонимных условиях, а работодатели могли бы составить рейтинг чувств или просто общий обзор, который бы описывал, как люди себя чувствуют в офисе – увлечены они и довольны ли.

Еще один интересный пример – это гендиректор, который делает презентацию для людей, которые подключены из разных стран, а машина может показывать, доходит ли идея гендиректора до людей. Привлекают ли их его цели? Мотивированы ли они? Это базовые вопросы, на которые легко ответить, если мы в одном месте; но теперь, когда все в разных точках, очень трудно это понять. Однако если повернуть ту же технологию другой стороной и сказать: «Хорошо, я сейчас разберусь с этим вот членом команды, поскольку он недостаточно увлечен», это будет бесспорное злоупотребление данными[403].

С точки зрения эль-Калиуби, мы можем получить все сразу – и всеобщий мониторинг без применения собираемых данных против нас, и ИИ, понимающий наши чувства, чтобы служить нам, но без попыток подчинить нас или нами манипулировать.

Но есть все причины сомневаться в выполнимости обеих этих надежд. Сотрудники в США страдают от практически «безграничного наблюдения», – о котором заявила группа исследователей права[404]. Даже в юрисдикциях, где надежная защита права на личную жизнь закреплена законом, правоприменение часто неэффективно. С другой стороны, технологические фирмы не всегда могли выстроить политику лицензирования. Конечно, этичные поставщики ИИ включают в контракты формулировки, требующие от работодателей не предпринимать никаких действий против равнодушных работников, которые не улыбнулись шутке гендиректора. Но смогут ли они проникнуть в защищенные коммерческой тайной методы оценки работников? Какое у такой фирмы может быть бизнес-обоснование для продолжения контроля своих продуктов? Даже в юрисдикциях, где подобное навязчивое наблюдение нарушает трудовой кодекс, сил охраны порядка не хватает, к тому же они заняты более насущными угрозами. Сторонние аудиторы – тоже не панацея. Они не раз терпели неудачу даже в тех условиях, когда правоприменение требовало более строгого изучения корпоративных практик.

Во всех вышеперечисленных случаях нам нужно нечто большее, чем смутные заверения в следовании принципам социальной ответственности и регулирования. Нам нужно структурировать рабочие сообщества так, чтобы работники могли иметь возможность предупреждать о злоупотреблениях технологией и реагировать на них (как внутри фирмы, так и за ее пределами). Нам нужны независимые и хорошо финансируемые регулирующие организации, способные следить за применением этих четких правил на практике. Также нам нужны реальные наказания за их нарушение. Все это структурные основы гуманной автоматизации. Спор об условиях и целях подотчетности не должен ограничиваться вопросами честности. Мы должны рассмотреть и более обширные вопросы, в частности о том, должны ли вообще разрабатываться и внедряться подобные средства[405].

Когда широкий доступ к финансовым услугам становится хищническим и жутким

Расхождение в споре о распознавании и анализе лиц между теми, кто желает увеличить предсказательные способности ИИ, и теми, кто хочет запретить или существенно ограничить его применение, не раз проявлялось не только в праве, но и в финансах. Кредиторы при выдаче кредитов и определении ставок опираются на данные. Они постоянно требуют все больше информации у потенциальных заемщиков, чтобы нарастить предсказательные способности своих алгоритмов. Запрос все большего количества данных может быть настолько назойливым, бесстыдным и спекулятивным, что в нем начинает чувствоваться дегуманизация. Где же провести черту?