Помоги проекту - поделись книгой:
На кого работает ваш учитель-робот?
Что является мотивом компаний, стоящих за наиболее важными технологиями образования? И почему мы должны доверять им в том, что они сделают программы или роботов, которые будут отражать наши ценности? Тревожных сигналов уже довольно много. Гигант технообразования – компания Pearson провела эксперимент на тысячах ничего не подозревающих студентах колледжей, внушая им установку на «профессиональный рост» посредством своей коммерческой обучающей программы. Компания обнаружила небольшое повышение мотивации, и, возможно, этот результат может оказаться полезным для будущих проектировщиков программ. Однако колледжи заключали контракт на обучающую программу, а не на исследование с участием подопытных людей[217]. Какие еще сообщения могут просачиваться во время контакта студента с компьютером? Администраторам на всех уровнях образования нужно проявлять больше осмотрительности при заключении контрактов с технообразовательными фирмами. Им нужно требовать контроля данных и обязательного оповещения в случае изменения программ. Без таких предосторожностей этические стандарты работников образования будут сметены грубым принципом «сгодится все, что работает», отстаиваемым технологическими фирмами[218].
Эксперимент компании Pearson достаточно обычен для мира технических фирм, которые не отличаются особой щепетильностью и не обращают внимание на уже действующие законы о защите детей. Критикуя экосистему Google, активисты обвиняли YouTube и операционную систему Android в недобросовестном таргетировании детской рекламы и в слежке за детьми[219]. YouTube, фактически ставший почасовой няней для детей задерганных родителей, не справился со своей функцией, поскольку там размещались странные и смущающие детей видео, некоторые из которых представляли собой автоматические ремиксы мультипликационных персонажей, мучавших или издевавшихся друг над другом[220]. Впоследствии YouTube ответил на общественное возмущение, пообещав, что за приложениями, ориентированными на детскую аудиторию, будут следить люди, а не алгоритмы[221]. Это отступление от принципа полной автоматизации – урок и для работников сферы образования; когда речь идет о детях, в создании контента невозможно полагаться на этический принцип «сгодится все, что привлекает внимание», как бы просто ни измерялось такое вовлечение на основе просмотров.
Образовательным системам также нужно проявлять осторожность при применении технологии в качестве тотальной системы мониторинга. Благонамеренные администраторы снабжают школьников трекерами Fitbit, считающими шаги, и ноутбуками, которые отслеживают движения глаз и подсчитывают секунды, потраченные на каждую задачу и каждый экран. Ставки такого сбора данных весьма велики. Программирование эмоций стремится зафиксировать значение наморщенного лба, приподнятых бровей, улыбок и других ярких признаков внезапно пришедшей идеи или замешательства. Успешные коммерческие фирмы составили базу данных эмоций, связанных с миллионами выражений лиц. Но любой человек, знающий, что, чтобы чувствовать себя лучше, надо «больше улыбаться», в состоянии понять проблемы, порождаемые системой, которая постоянно опознает и записывает внешние признаки эмоциональных состояний.
Можно представить себе, что при наличии достаточных инвестиций и времени мы получим в будущем среду обучения, в которой будут как практически безграничные задания на заучивание, генерируемые ИИ, так и более креативные задачи. Также учителя-роботы всегда будут готовы провести коррекционный урок для исправления ошибок. Однако в этой же перспективе присутствуют скрытые возможности для манипуляций, возникающие благодаря сбору огромного количества данных о детях. Иногда определенные вмешательства нужны; например, Facebook может алгоритмически выявлять посты подростков с суицидальными намерениями и сообщать о них организациям, занимающимся специальной помощью[222]. Но похожие возможности он продавал и рекламодателям, помогая им выявлять детей, которые считают себя «неуверенными» или «никчемными»[223]. Должна быть определенная граница между попытками помочь и научить и тем подозрительным сбором данных и стигматизирующих характеристик, который разрушает доверие. У учеников и родителей всегда должно быть право отказаться от программирования эмоций.
В настоящее время у нас нет ни малейшего представления о том, как фирмы, разрабатывающие образовательные программы и роботов, собирают, анализируют и применяют данные. Способность современных программ машинного обучения записывать все, что говорит ребенок, и все больше персонализировать ответы, провоцируя его смех или озабоченность, вызывая в нем чувство любви или вины, является совершенно новым компонентом в мониторинге учащихся, который если и надо применять на практике, то крайне осторожно. Прежде чем такие образовательные роботы будут внедряться в массовом порядке, следует ответить на базовые вопросы об их возможностях и целях.
Минусы постоянного внимания
Обычно целью мониторинга являются непосредственные и конкретные выгоды, связанные с долгосрочными и менее определенными опасностями[224]. Роботы в школе, как и другие образовательные технологии, обещают уроки с высоким уровнем персонализации. Также аналитика больших данных могла бы значительно сократить издержки. Фирма может предоставлять образовательных роботов учебным заведениям даром, ставя себе долгосрочную цель собрать данные об учащихся и помочь маркетологам и другим специалистам понять их. Критическое значение имеют условия монетизации. Используются ли данные исключительно в контексте образования, в качестве помощи при обучении? Или они могут послужить для составления цифровых досье, в которых учащихся стигматизируют, о чем они сами не знают?
Социолог Эрвин Гоффман ввел понятие «закулисных» пространств, где можно исследовать альтернативные позиции и формы поведения вне поля зрения других[225]. Плохо регулируемые роботизированные системы могут привести к тому, что каждый момент в школе окажется в «зоне переднего плана», как на сцене. Программируются ли образовательные роботы так, чтобы записывать каждый момент, когда в пределах их досягаемости находится ребенок? Оповещают ли они детей или тех, кто рядом с ними, о том, что ведут запись?[226]Многие объединения потребителей жаловались на то, что игрушечные роботы следят за играющими с ними детьми. Если судить по одной петиции, поданной в Федеральную торговую комиссию США, «эти игрушки в силу своего устройства целенаправленно записывают и собирают личные разговоры детей, никак не ограничивая сбор, применение или публикацию этой личной информации»[227]. Как и многие другие условия предоставления услуг, те, что определяют взаимодействие
робота с детьми, практически не включают никаких защитных мер. Ими даже подразумевалось, что у компании есть «право изменять эти условия предоставления услуг в случае, если она сочтет это необходимым». Другими словами, все те защитные меры, которые сейчас есть, завтра могут быть отменены одним из «четырех всадников безответственности», о которых было сказано во второй главе[228].
Серьезным бизнесом стали биометрические голосовые отпечатки, используемые, в частности, для аутентификации[229]. Защитники прав потребителей обеспокоены тем, что данные о голосах не защищены и что они могут быть взломаны любыми преступниками. Еще большая опасность может возникнуть в обработке и применении данных, учитывая все чаще предъявляемое школам и государствам требование определять «проблемных детей» в самом нежном возрасте. Согласно одному недавнему исследованию, на 20 % граждан приходится 81 % уголовных приговоров, 78 % предписаний и 66 % пособий, причем вхождение в эту группу «можно определить уже в трехлетием возрасте благодаря исследованию здоровья мозга»[230]. Что, если определенная тональность голоса или паттерны общения могут послужить такими же показателями будущих поведенческих проблем? У кого есть доступ к таким данным? И как они могут применять их?[231]
Существуют веские аргументы в пользу ограничения любого сбора данных в образовательных учреждениях самими этими учреждениями (исключая случаи прямой опасности, в частности насилия или его возможности). Именно таковы основания калифорнийского закона о «сетевом стирании», который дает возможность детям удалить данные о своей деятельности в социальных сетях до 18 лет. В Генеральном регламенте ЕС о защите персональных данных такие «права на стирание» распространены на многие другие ситуации. Со временем они должны стать глобальным золотым стандартом прав учащихся, на которых воздействуют образовательные технологии. Как без такой защиты можно доверять аппарату сбора данных, который во многих случаях уже продемонстрировал свою опасность?[232]
Конечно, отдельные семьи могут попытаться избежать слежки и оценки, если у них достаточно ресурсов, и поискать школы с иным подходом. Так, многие родители из Кремниевой долине отправляют своих детей в низкотехнологичные школы в другие части страны. Однако способность отдельного человека сопротивляться системе и покидать ее легко переоценить. Как только будет контролироваться и отслеживаться критическая масса студентов, те, кто захотят выйти из системы, будут выглядеть подозрительно. Может быть, им есть что скрывать?[233] Школьные оценки стали практически универсальным дисциплинарным механизмом; вскоре может быть разработан «общий поведенческий показатель», оценивающий студентов по параметрам дружественности, внимательности и многого другого.
Исправление образовательно-технологического контроля или отказ от него
Сопротивление подобному контролю обычно принимает две формы – либо реформы, либо революции, то есть либо модификации, либо полного отрицания. Некоторые хотят усовершенствовать машины, применяемые в образовании, другие – просто отказаться от них. Хотя обе стороны едины в своем интересе к актуальным вопросам, между ними есть глубинное противоречие. Исправление образовательных технологий контроля означает то, что им нужно предоставить еще больше данных, уделить еще больше внимания, затратить еще больше человеческого труда, необходимого для настройки их алгоритмического ядра. Покончить с ними – значит переориентировать образовательную реформу на модели, больше завязанные на человека. Чтобы решить, какой путь выбрать, требуется более глубокое исследование обоих этих проектов.
Никто не хочет, что компьютер распределял заслуги и штрафы среди учеников и учителей случайным образом. Некоторые девочки, чьи профили были составлены китайской системой ClassCare, о которой мы упоминали в начале этой главы, жаловались на то, что их путали с другими, особенно когда они меняли прическу. Техническое решение этой проблемы выглядит простым, хотя и неприятным: надо вводить все больше изображений учеников в массив данных, чтобы можно было распознавать их характерные движения или отличительные черты, не связанные с лицом.
Даже когда всех учеников определяют правильно, исследователи ставят сложные вопросы о корреляции выражений лица и внутренних состояний сознания. Например, одна группа исследователей-психологов показала, что выражения лица не обязательно точно соотносятся с определенными эмоциями, не говоря уже о таких более общих ментальных состояниях, используемых в оценках, как «внимательность» или «отвлеченность». Поскольку «проявления эмоций одной и той же категории не всегда выражаются одним и тем же образом и не всегда опознаются по мимике», коммуникативные способности лица ограниченны. Кроме того, даже когда у нас есть больше данных, мы всегда должны 53 помнить о вариативности контекста и культуры[234]. О чем именно говорят блуждающие глаза – о фантазировании или глубоком погружении в мысли о решаемой в настоящий момент проблеме? Людям может быть сложно определить это, но их собственные колебания встраиваются в данные, формирующие суждения машины об этом предмете[235].
Исследователи программирования эмоций, которых все это не пугает, могут ответить двояко: направить еще больше ресурсов на тонкую настройку различения эмоций или, наоборот, полностью от него отказаться. Первый подход заставит искать данные с еще большим рвением, включить нестандартные источники данных, такие как постоянный мониторинг самого себя и ответ об эмоциональных состояниях испытуемых. Исследователи платформы mTurk компании Amazon провели более сложное и инвазивное исследование, которое стоило сущие копейки из расчета на HIT (human intelligence task, задачу для человеческого интеллекта). Но правда ли человеческое сердце настолько прозрачно? Как вообще можно считать, что отчеты субъектов о своих эмоциональных состояниях являются точными, не говоря уже о том, как их можно экстраполировать на людей с похожими выражениями лиц или похожим поведением? Если участникам эксперимента не платят, они, возможно, попросту стремятся разделаться с заданием как можно быстрее. Если же им платят, отчеты о себе могут не слишком отличаться от рутинного заполнения «капчи», когда торопливые сдельные работники больше стремятся отчитаться так же, как и остальные, чем найти некую «фундаментальную истину» в том, что они видят.
Второй «ответ» на недовольство точностью распознавания эмоций и внимания состоит в том, что без такого распознавания можно и обойтись. Школа может нацелиться на культивацию выражений и поведения, которая лучше всего коррелирует с тем, что в конечном счете должно быть произведено. В самой грубой версии такого подхода выявленные выражения и поведение следовало бы соотнести с баллами за тесты, что позволяет составить базу данных внешнего поведения, которое соотносится с наилучшими результатами. Администраторы тогда могли бы сообщать родителям, насколько близки их дети к поведению, которое, как выяснилось, в прошлом коррелировало с высокими баллами.
В высшем образовании целевым показателем можно сделать начальные заработки или премии за ученую степень (то есть надо считать, насколько заработок данных выпускников превышает заработки других людей того же возраста).
Подобный сугубо бихевиористский подход, отвлеченный от любой озабоченности тем, что происходит в голове у студентов, порождает немало проблем. «Датификация» эмоций в образовании кажется по-настоящему зловещей, когда предполагает предписание состояний и установок[236]. Но, по крайней мере, она дает учащимся определенное представление о том, к какой аффективной жизни они должны, по мнению властей, стремиться. Чисто бихевиористская модель отказывается даже от этой минимальной ясности, заставляя своих подопытных попросту обезьянничать.
Здесь можно задуматься о том, стоит ли вообще игра свеч. Каждому необходимо определенное «закулисное», то есть неподконтрольное время (или, по крайнее мере, то, что контролируется в меньшей степени, чем в случае со студентами, за которыми пристально следили камеры ClassCare или роботы-учителя). Программы оценки внимания и эмоций склоняют к избыточной самоинструментализации. Нам всем необходимо искать баланс в том, как мы выражаем или сглаживаем, развиваем или подавляем собственные эмоциональные реакции. Это воспитание чувств в юности может быть тяжелой задачей. Существует тонкое равновесие между тем, что Ханна Арендт называет «защитой ребенка» и «защитой мира»[237].
Чтобы дети могли лучше адаптироваться в мире, в который они позже вступят, школы должны формировать своих учеников, но в идеальном случае лишь в определенной мере. Когда контроль становится тотальным и особенно когда он навязывается неразумно и механистически, нагрузка на психику может оказаться слишком большой. Когда каждый акт сопротивления или ослабления внимания может наказываться, спонтанность умирает. И тогда учащиеся могут попытаться инструментализировать практически все свои реакции, так что никакого зазора между их собственными желаниями или реакциями и желаниями и реакциями, которых от них все больше требуют власти, оснащенные компьютерами, просто не останется. Каковы бы ни были преимущества социальной гармонии и согласия, подобный ледяной порядок – не что иное, как оскорбление свободы и подавление способности выносить самостоятельные суждения.
Положительные варианты применения роботов-помощников
Если регулирующие ведомства смогут усмирить всепожирающий аппетит надзирательного капитализма к данным и контролю, помощь роботов и правда может сыграть позитивную роль во многих классах. Критически важно изменить формат и перейти от учащихся, которых контролирует технология, к учащимся, которые сами ее контролируют и играют с ней.
Вместо того чтобы перегонять студентов из одной цифровой среды в другую, преподаватели, способные их вдохновить, показывают им, как влиять мир никак ему не навредил. Но и мир нуждается в защите, чтобы не пострадать и не перевернуться под натиском нового, обрушивающегося на него с каждым новым поколением». на такие среды и даже как их создавать. Сеймур Пейперт, выдающийся исследователь образования из MIT, предложил одну из первых версий участия такого типа еще в 1970-х гг. Он разработал программы, помогающие студентам самостоятельно обучаться написанию программ. Для людей с хорошими пространственными способностями роботы Пейперта могут быть настоящим подарком, помогающим на довольно раннем этапе понять силу компьютерных языков, позволяющих общаться с механическим миром и заставлять его делать те или иные вещи[238].
Но зачастую детей начинают приучать к бихевиористской модели образования слишком рано, а потому школу они воспринимают в качестве пространства бюрократического контроля[239]. Счастливцам удается получить более разнообразную когнитивную диету и полные возможности исследовать навыки, которые им нравится культивировать, – речевые, количественные, социальные, атлетические или какие-то иные. Эти возможности следует демократизировать, и в этом может помочь технология. Рассмотрим Dragonbot, который был разработан в MIT. Это обманчивое в своей простоте сочетание мягкой игрушки (милого дракона) и смартфона (который служит лицом дракона). Робот может чувствовать взаимодействие ученика с планшетом – у него есть программа, которая отслеживает, каких слов и объектов ученик касается на планшете. Интернет-связь позволяет легко передавать ответ с планшета на Dragonbot и наоборот.
Dragonbot может задавать детям уроки и оценивать их ответы и реакции. Также он может поменяться с ними ролями и попросить, чтобы они его учили. Так, в одном из сценариев робот спрашивает у учеников, какое из пяти слов на экране планшета соответствует слову «дракон», и может подбодрить их определенным вознаграждением, если они дают правильный ответ[240].
Некоторые посчитают, что в таких учебных упражнениях маленького ученика должен постоянно участвовать квалифицированный учитель или любящий родитель. И можно только надеяться на то, что они будут сопровождать его на протяжении всей учебы. Однако детям нужны также и перерывы в общении со взрослыми, чтобы выработать собственное ощущение самостоятельности и контроля. В своих лучших чертах Dragonbot как раз и может предоставить такие возможности. Забавные умные игрушки способны стереть границу между работой и игрой. Также они могут подтолкнуть к позитивному общению, став общим фокусом внимания взрослых и детей[241].
Обучение путем преподавания – еще одна постоянная тема образовательных роботов. Например, исследователи Лаборатории человеческо-компьютерного взаимодействия в обучении и преподавании одного из французских университетов попросили детей научить робота тому, как правильно писать буквы [242]. Программисты намеренно приказали роботу выдавать плохие имитации букв, чтобы дети могли гордиться тем, как они учат его писать лучше. Робот смог воодушевить учеников и подкрепить уже имеющиеся у них знания. Хорошо спроектированные образовательные игрушки способны наделить детей чувством собственной власти – одновременно над роботами и благодаря роботам[243].
Также роботы способны развивать чувство родства, дружбы и любви к машинам, но в этом случае ситуация несколько усложняется. Какую установку по отношению к обучающему роботу-помощнику должен усвоить ребенок? Образы детей, которые обнимают своих «приятелей»-роботов или вопросительно смотрят на них, стали привычными, но в то же время они вызывают недоумение. Извлеките смартфон из Dragonbot’a, и останется просто мягкая игрушка, к которой привязался ребенок. Но раньше игрушки не могли ежесекундно распознавать выражение лица ребенка или подстраивать свои сигналы под показания своих сенсоров. Обучающие роботы-игрушки занимают пограничное пространство между субъектом и объектом, и нам, родителям, учителям и политикам, надо решить, как их определить и как к ним относиться.
Предложить хорошее определение в этом случае нелегко; и это одна из причин, по которым такие вымышленные создания, как драконы (или покемоны), больше подходят на роль «векторов» роботизированных уроков, чем гуманоидные роботы. Весьма практичный и простой урок, который можно преподать детям, – это урок ненасилия. Корейские исследователи спроектировали Шелли, робота-черепаху, которая может моргать и шевелить лапками, когда дети ее гладят. Но если ребенок бьет ее, Шелли тут же скрывается под своим панцирем и умолкает. Шелли – это пример развивающейся области биомиметических роботов, которые ведут себя как природные существа; она указывает на готовую модель контакта ребенка и робота, а именно на домашнее животное. Механические черепахи, кошки, собаки (вспомним, например, собаку-робота Aibo) могут послужить детям заменой животного-компаньона, так же как робот-тюлененок Паро может играть ту же роль для престарелых. Специалист по этике из MIT Кейт Дарлинг предложила «относиться к роботам скорее как к животным, способным отвращать человека от поведения, которое в других контекстах было бы вредным»[244]. Например, с основами этики заботы ученик может познакомиться, общаясь с роботом, которому для работы требуется определенное взаимодействие (или даже зарядное устройство). Японское игровое устройство Tamagotchi сыграло на этой чувствительности в 1990-х гг., заставляя пользователей нажимать кнопки, чтобы «покормить» цифрового питомца или как-то еще о нем позаботиться. Начав с такой низкой отметки, роботы постепенно научились лучше имитировать животных.
Осторожные родители могут также научить своих детей относиться к незнакомым роботам как 64 к диким животным, то есть не приставать к ним[245]. При этом следует объяснить различие между живым и механическим. Даже черепаха Шелли может внушить детям неправильные представления о том, как вести себя с настоящей рептилией, создав у них нереалистические ожидания относительно податливости среды, которая должна отвечать человеческим желаниям[246]. В своей книге «Одни вместе» Шерри Теркл рассказывает, что ее поразило то, с каким пресыщенным безразличием дети отзывались о группе черепах, сидевших в музее практически неподвижно. «Если они так мало делают, не было смысла заводить живых черепах», – сказала одна девочка. Некоторые заметили, что предпочли бы активную роботизированную версию животного. «Если поставить вместо живой черепахи робота, – спросила тогда Теркл, – надо ли сообщить людям, что черепаха не живая?» Дети задумались. Теркл была обеспокоена тем, что непритязательной реальности они предпочли увлекательную иллюзию[247].
Аналогия с животным не работает и тогда, когда роботы, оформленные в виде животных, изображают какие-то человеческие качества. Специалист по праву Марго Камински обеспокоена тем, что роботы могут участвовать во «вводящем в заблуждение антропоморфизме», чтобы обманом заставлять своих собеседников думать, будто у машин есть чувства[248]. Хитрые маркетологи способны облечь рыночное предложение в обманчивые одежды искреннего обращения искусственного «человека». Роботы, которых мы, вероятно, увидим в массовом применении через несколько десятилетий, не будут продуктами миллионов лет эволюции. В целом они будут разрабатываться корпорациями, у которых свои собственные бизнес-модели. Иногда такая бизнес-модель будет соответствовать модели ведущих интернет-фирм, когда мы платим за многие формы контента тем, что порождаем след данных, важный маркетологам, будущим работодателям, страховщикам и т. д. Собака ребенка не будет сообщать о его поведении при подаче заявления в колледж, но робот может.
Маленьким детям будет сложно, а может, и просто невозможно помнить о подобных опасностях при общении с роботом. И если компании в области технообразования настаивают, несмотря на все упомянутые опасения, на инвестировании в гуманоидных роботов, они должны всесторонне рассмотреть свою «скрытую программу», то есть все те малозаметные поучения и предубеждения, которые ими на самом деле транслируются. Например, у ассистентов Сири и Алексы женские голоса, но не ведет ли это к закреплению отжившей модели гендерных ролей, определявшейся дискриминацией? С какой стати предполагать, что роботы-помощники – это женщины? На то, как раса представляется в технологии, также должны влиять сами представляемые сообщества, а в идеале они и должны руководить этим процессом. «Ничего о нас без нас» – подходящий лозунг как для медиа, так и для роботов, поскольку он поднимает вопросы о недостатке этнического и социокультурного разнообразия во многих технологических фирмах. Последние должны избегать как Сциллы негативных стереотипов, так и Харибды идеализации «модельного меньшинства». И очень мало подтверждений того, что ведущие в области ИИ и робототехники фирмы способны хоть в какой-то мере решать эти проблемы[249].
С чем сравнивать: образовательная технология и менее развитые страны
Теперь нам должно быть ясно, что школы, в которых господствуют ИИ и роботы, не смогли бы достичь нескольких основных целей образования. Но что делать в ситуации, когда учителя-люди вообще недоступны? До сих пор я рассматривал роботов и другие образовательные технологии в контекстах, которые по глобальным меркам являются индустриализированными и характерны по крайней мере для среднего дохода. То есть сравнение в основном велось с традиционным американским, китайским, японским или европейским школьным классом, в котором работает хорошо образованный и компетентный учитель. Но образование такого типа доступно не везде – в силу либо реальной нехватки ресурсов, либо некомпетентного управления. И хотя богатым доступны определенные островки отличного образования, бедные дети в менее развитых странах часто выдавливаются из области качественного образования самой его ценой. В некоторых областях государственное финансирование учителей равно нулю.
Это неравенство подтолкнуло Николаса Негропонте начать кампанию «По ноутбуку каждому ребенку». Но точно так же оно могло бы подстегнуть филантропические начинания, направленные на внедрение образовательных роботов в классах (или бедных домах) по всему миру. Нейропластичность в раннем возрасте представляет собой удивительную возможность – например, во взрослом возрасте учить иностранный язык намного сложнее, чем в детстве. В таком случае даже несложные роботы с некоторым базовым пакетом языковых и математических способностей могли бы стать неоценимым подарком для детей по всему миру.
Но следует признать ограниченность даже такого подхода. Хотя технология представляется в качестве способа выровнять общие условия, в действительности она часто лишь усугубляет уже существующие формы неравенства. Опираясь на исследование по распространению инноваций, специалист по компьютерным наукам и исследователь международного развития Кентаро Тояма подчеркивает то, что всегда есть более и менее передовые версии образовательных технологий. Несколько провокативно он отмечает:
В любом мире, в политическом отношении похожем на наш, богатые и влиятельные родители будут доставать лучшее оборудование для своих детей, тогда как дети из бедных и маргинальных семей будут иметь доступ к старым моделям, которые нуждаются в ремонте… Технология опять же усиливает интенции (как явные, так и неявные) общества в целом. И то же относится к геймифицированным электронным учебникам, гуманоидным роботам-учителям и многим другим образцам новой технологии… Если вы хотите сделать вклад в честную и всеобщую образовательную систему, новая технология эту проблему не решит[250].
Примеры Тоямы – виртуальная реальность и гуманоидные учителя-роботы – могут показаться слишком фантастичными, но учителя-телероботы уже тестируются, и их легко могут вывести на рынок в качестве «решения» проблемы глобального неравенства в области образования[251].
Идеи Тоямы заставляют отнестись с осторожностью к применению образовательных технологий в классах в менее развитых странах. Сегодня уже широко распространена озабоченность по поводу того, что благотворительные посылки с одеждой для Африки из развитого мира подрывают местную отрасль[252]. Не может ли роботизация образования учеников с низким доходом закрепить культурные нормы, которыми образование как профессия и так уже обесценено? Как уроки для детей в Индии могут выбирать фирмы или неправительственные организации (НПО) в Пало-Альто, Лондоне или Вашингтоне и в какой мере они будут расходиться с интересами местных сообществ? Чье представление об истории или политике лучше подойдет для уроков гражданской грамотности?
Пока мы не создали устойчивые управляющие структуры, которые могли бы сформулировать честные и справедливые ответы на все эти вопросы, к транснациональным инвестициям в автоматизацию образования следует относиться с осторожностью. Индийские чиновники уже отвергли программу Facebook Basics, которая предлагала бесплатный интернет-доступ в обмен на контроль Facebook над тем, какие именно сайты могут посещаться. Они сочли, что такое что-то хуже, чем ничего, то есть отсутствие доступа к интернету у миллионов бедных граждан. Та же динамика может реализоваться и в технологиях образования.
Сопротивление новому бихевиоризму
Фредерик Тэйлор начал настоящую революцию в промышленном производстве, применив тесты расчета времени и движения на конвейерных линиях. Каждое движение рабочего записывалось, оценивалось на эффективность, а затем либо утверждалось, либо помечалось как нуждающееся в исправлении. Тэйлористская мечта о максимально эффективной рабочей силе стала прелюдией к роботизации. Как только найден один-единственный самый лучший способ решения какой-то задачи, людям нет большого смысла продолжать ею заниматься. Тэйлоризм хорошо сопрягался с психологической школой бихевиоризма, которая пыталась разработать систему наказаний и подкреплений для людей, напоминавшую обучение животных.
Бурное развитие предсказательной аналитики, опирающейся на данные, вдохнуло в бихевиоризм новую жизнь. Директор по данным фирмы из Кремниевой долины, занимающейся электронным образованием, однажды отметил: «Цель всего того, что мы делаем, – массовое изменение сегодняшнего поведения людей. Когда люди используют наше приложение, мы записываем их поведение, определяем его хорошие и дурные составляющие, а потом разрабатываем способы вознаграждать хорошее и наказывать за плохое. Мы можем проверить, насколько действенны для них наши стимулы и насколько они выгодны для нас»[253]. Быстро растущая область технообразовательных инноваций обещает резко снизить стоимость начального, среднего и высшего образования за счет применения более или менее схожих методов: транслируемых курсов, сложных компьютерных инструментов оценки, средств мониторинга с круговым обзором, которые бы гарантировали то, что учащиеся не мошенничают.
В своей наиболее чистой форме новый бихевиоризм уже стал причиной довольно заметных провалов. Некоторые «сетевые чартерные школы» показали до смешного плохие результаты: ряд исследований свидетельствуют о том, что в них за 180-дневный период не было вообще
Как поясняет Одри Уоттерс, все эти неудачи не могут считаться неожиданными. Еще в 1930-х гг. сторонники технообразования заявляли, что радиокурсы заменят основную массу учителей и обеспечат развитие педагогики как науки. Бихевиористы предсказывали, что обучающие машины смогут радикально повысить эффективность преподавания (вспомните о машине, раздающей конфеты, о которой мы уже упоминали ранее). Многие годы Уоттерс собирала энциклопедию техно-образовательных мечтаний (и их предсказуемого провала), начиная с классов виртуальной реальности и заканчивая «мгновенным обучением путем стимуляции мозга, как в „Матрице^»[256]. Хотя практически ничто не подтверждает реальное развитие образования в результате подобных вмешательств, перспектива создать некое новаторское предложение, которое перестроит весь рынок образовательных услуг, для новаторов, вложивших миллиарды долларов в эту область, слишком соблазнительна[257].
В какой-то момент, вероятно, некоторые из этих инициатив в отношении отдельных учащихся могут оказаться успешными. Но что может быть надежным ориентиром на пути к ним? В некоторых публикациях, финансируемых технообразовательной индустрией, задаются свои ориентиры, к тому же индустрия стремится к собственным формам сертификации и сетевым системам рецензирования. В этой модели скрыты некоторые довольно серьезные проблемы. Во-первых, определить, какое решение работает, сложная задача, которой легко манипулировать[258]. Во-вторых, за технообразованием и фирмами, занятыми его оценкой, могут стоять одни и те же инвесторы[259]. Эта ситуация становится источником неминуемого конфликта интересов, который подрывает объективность исследований.
Похожие коммерческие факторы могут привести и к преждевременной увлеченности сетевым образованием. Энтузиасты, основывающиеся на успехе Khan Academy, спешат предсказать, что университетское образование можно получить за незначительную долю сегодняшней стоимости; надо просто записать все лекции, автоматизировать оценку студентов и пригласить всех на эти курсы, а оценки выставлять по методу блокчейн. Вы застряли с каким-то уроком? Просто продолжайте взаимодействовать со своей клавиатурой, камерой и, возможно, гаптическими сенсорами. Или можно отправить сообщение резервной армии тьюторов на таких платформах цифрового труда, как Mechanical Turk или TaskRabbit[260]. Надо доказать, что вы не мошенничаете на экзамене? Установите камеры, и пусть они записывают каждое ваше движение и каждую нажатую клавишу, а еще, быть может, движения глаз и выражение лица.
Если даже не обращать внимание на несколько зловещий характер подобного контроля, в этих идеях все равно есть вполне очевидные нестыковки. Совершенно неясно, как воспроизвести в сети опыт семинаров, внеклассной деятельности или стажировки. Надежды на сокращение расходов в традиционных колледжах с проживанием подпитываются не столько стремлением усовершенствовать обучение, сколько идеологией жесткой экономии. Такой же проблемой во взглядах на «видеообразование» сторонников автоматизации является то, что их подход к процессу производства и распространения знаний крайне примитивен. Не существует одной конечной версии курса по философии, истории или психологии; эти предметы изменяются, причем иногда довольно быстро, в ответ на исследования, академические дискуссии и перемены в духе времени. Мне, предположим, не нравится развитие экспериментальной философии или моделирование рационального выбора, однако я уважаю плюрализм, позволивший независимым факультетам философии и политологии погрузиться в эти дисциплины. Альтернатива стала бы пародией на «пайдейю»: можно представить, как то или иное центральное ведомство будет распределять время лекции между метафизиками, утилитаристами и деонтологами, основываясь, скорее всего, на анализе больших данных, отражающих начальные зарплаты выпускников, прошедших соответствующие курсы.
Не следует также сбрасывать со счетов роль человеческого озарения в курсах по науке, технологии, инженерии или медицине. Даже такой предельно алгоритмический курс, как введение в информатику, благодаря изобретательным преподавателям может совершенно перемениться. Например, в колледже Харви-Мадд преподаватели внесли существенные изменения в свой подход, чтобы разобраться с хроническим гендерным перекосом, существующим в их сфере деятельности. Это прогресс, который возникает из личного взаимодействия между исследователями, а также между преподавателями и учащимися.
Человеческое образование
Датафикация преподавания и обучения стала фактором многих опасных трендов. Но было бы глупо вообще отвергать применение ИИ в образовании. Почти по каждому предмету в сети можно найти прекрасные учебные материалы. Большие данные способны дать толчок педагогике, поскольку аналитики изучают наиболее эффективные способы передачи материала. Студенты, которые не могли и мечтать об определенных курсах в колледже, сегодня могут смотреть и слушать лекции и выполнять упражнения, которые автоматически исправляют ошибки. Настоящий вопрос в том, как реализовать обещания ИИ в образовании.
Ответ заключается в необходимости пересмотреть природу преподавания. Как и другие профессии, преподавание не сводится к передаче информации. Обязанности профессиональных преподавателей не завершаются оценкой возможной успешности работы определенной программы или инициативы, как если бы «работа» определялась в ясных количественных категориях. Учащимся нужен наставник, который подскажет, как им вести себя, причем в качестве именно людей, а не получателей или отправителей сообщений. Думать иначе – значит подталкивать общество к скользкой дорожке Скиннера, то есть к образованию, понимаемому в качестве стимулов власть имущих и заранее предписанных реакций всех остальных.
Конечно, будут и исключения. Некоторым студентам из сел, студентам с инвалидностью или жертвам школьного насилия понадобится домашнее образование[261]. Им или их семьям может быть слишком тяжело посещать школу или даже просто добираться до нее. И даже сетевое обучение у преподавателя может оказаться слишком дорогостоящим. Но мы все равно должны поставить вопрос: какие бы права государство ни предоставляло родителям в обучении их детей (или аналогичные права выпускникам школы), действительно ли они в состоянии осмысленно заниматься таким обучением на нашем «Диком Западе», где полно автоматических поставщиков контента? Возможно, что родители по отношению к технообразованию находятся в том же положении, что и пациенты по отношению к заявлениям фармацевтических компаний. Но пациенты передвигаются по этой территории не в одиночку – они опираются на помощь профессиональных медиков. И точно так же мы должны ожидать того, что специалисты из школ и университетов сыграют решающую роль в образовании.
В пророческой книге «Программируй, или запрограммируют тебя» Дуглас Рашкоф жалуется на зазор между надеждами, возложенными сферой образования на интернет, и неприглядной реальностью сегодняшнего дня. С точки зрения Рашкофа, все большее господство цифровых интерфейсов создает проблематичный выбор для студентов. «В постепенно формирующемся сильно запрограммированном мире, который ждет нас в будущем, вы будете либо создавать программы, либо сами станете программой. На самом деле все просто: программируй, или тебя запрограммируют. Выберете первое – и сможете получить доступ к пульту управления цивилизации. Выберете второе – и это, возможно, будет ваше последнее настоящее решение»[262]. Особенно его пугает подчинение исследований мировоззрению фастфуда. Рефлекторное движение, требующее «просто погуглить» информацию, расширяет культурную пропасть между теми, кто стремится понять, как на самом деле устанавливается знание и как оно организовано, и теми, кто хочет получить быстрый ответ на свой вопрос.
Рашкоф замечает, в частности, что «преподаватели, желавшие получить доступ к всемирной сокровищнице информации, которую можно использовать на уроках, сегодня имеют дело с учениками, уверенными, что обнаружение ответа в Википедии – удовлетворительный итог исследования»[263]. Это не значит, что у Википедии не может быть места в образовании; в статьях этой энциклопедии часто цитируются полезные первоисточники. Также она может послужить ценным уроком по бюрократической политике производства знания, если обратить внимание на то, как добровольцы вносят вклад в этот массовый проект и как решаются конфликты по принципиальным вопросам. Узнать какие-то вещи в Википедии – хороший способ наработать медиаграмотность, но читать ее безо всякой критической позиции было бы неправильно. И эта мера предосторожности должна с еще большим основанием применяться к чисто алгоритмическим подборкам информации, таким как поисковые результаты или новостные ленты: они всегда отражают определенную повестку, какими бы объективными на первый взгляд ни казались.
Критика Рашкофа определяет повестку регулирования ИИ и роботов в образовании: вопрос в том, как избежать проблем, наличие которых уже подтверждено в цифровых технологиях. Распространились опасения, что учащиеся не понимают в полной мере используемую ими технологию как в чисто материальном, техническом смысле, так и критическом (то есть не оценивают цели и финансовые мотивы поставщиков технологий). Несмотря на популярные разговоры о «цифровом поколении», достаточно данных, свидетельствующих о цифровой неграмотности[264]. Поиск нового баланса между упражнениями в классе (а также лекциями, тестами, курсовыми проектами, сочинениями и экзаменами) под руководством человека и программного обеспечения требует экспериментирования и пилотных программ.
Например, Lego еще в 1990-х гг. представила на рынке конструкторы Mindstorms, дав детям возможность почувствовать податливость технической среды. Они способны помочь учащимся понимать роботов не столько в качестве искусственных родителей, учителей, нянек или коллег, сколько в качестве еще одной полезной части обширного технического ландшафта. Продуктивное применение таких новых моделей обучения зависит от автоматизации труда людей и распределенных систем, в которой были бы сбалансированы взгляды различных экспертов (включая тех, кто работает преподавателями) и специалистов по технологиям.
Для сокращения экономического давления, требующего преждевременной цифровизации, государство должно помогать колледжам справедливо оплачивать труд ассистентов преподавателей и специалистов по образовательным технологиям, снижая при этом объем студенческой задолженности[265]. Похожая динамика должна определять и политику начального и среднего школьного образования, поддерживая обучение преподавателей, позволяющее им стать полноценными партнерами технологий в классе, а не просто пассивными объектами ее применения. Коллективные соглашения и юридические ограничения дают работникам – членам профсоюзов возможность участвовать в определении условий собственного труда, в том числе и способов внедрения технологии. Профсоюзы помогли учителям добиться базовых прав на работе, и они же должны дать им право на логичное определение того, как ИИ и роботы будут в будущем применяться в классе[266].
Этот идеал рабочего самоуправления далее совершенствуется в профессиях. Профессионалы давно утверждают право и обязанность определять ключевые условия своего труда. Например, врачи успешно лоббировали признание их специальных знаний и ответственности доверительного характера, отстояв право самостоятельно определять структуру медицины как профессии. Они руководят лицензирующими советами, которым государство дало право определять, кто обладает квалификацией, достаточной для медицинской практики. Также они играют критические роли в регулирующих ведомствах, определяющих то, какие именно лекарства и устройства допустимы, а какие требуют дополнительных проверок.
Можно ли представить Агентства по образовательным технологиям (АОТ), в которых преподаватели играли бы схожую решающую роль, определяя внедрение образовательной робототехники?[267]Да, конечно. Если ведомства, регулирующие оборот лекарств в разных странах мира, помогли врачам и пациентам разобраться со сложностями, возникшими из-за спорного воздействия фармацевтических препаратов, национальные АОТ могли бы получить право оценивать и лицензировать приложения, чат-ботов и более развитые техно-образовательные системы и инновации. В идеале это стало бы подспорьем для профессиональных работников сферы образования, имеющих возможности помогать школам и учащимся выбирать различные технологические траектории, облегчающие обучение. Для достижения истинно гуманного будущего нам потребуется надежная профессия преподавателя – на уровне начального, среднего и высшего образования, – способная сдержать тенденцию к механизации, стандартизации и сужению образования. Критическое мышление станет еще более важным в той ситуации, в какой автоматическая публичная сфера, которая обсуждается в следующей главе, продолжает распространять ненадежный и опасный контент, связанный с манипуляциями.
4. Чуждый интеллект автоматических медиа
Основные контуры массовой медийной политики и культуры сложились во второй половине XX в. С середины 1990-х гг. перемены ускорились[268]. Программисты взяли на себя роль, которую некогда играли редакторы газет и продюсеры местных радиостанций, но они работали «за кулисами». Они стали выбирать контент и рекламу для постоянно меняющихся и алгоритмически подбираемых аудиторий. Конкретное устройство подобных алгоритмов остается тайной, но общие их принципы достаточно ясны. Они оптимизируют определенное сочетание рекламных доходов и «вовлечения», то есть величины и интенсивности времени, проводимого пользователями на сайте. Поскольку мегафирмы отбирают рекламные доходы у традиционных медиа, они получают все большее вознаграждение, превращаясь в крупнейшие мировые корпорации[269]. Большинству рекламодателей нужна аудитория, но не обязательно какой-то определенный контент. И крупнейшие технологические компании могут им такую аудиторию предоставить.
Сегодня крупнейшие технологические платформы – это не просто экономические компании. Они влияют на политику и культуру, то есть области, в которых количественные измерения, какими бы сложными они ни были, могут отображать реальность лишь урывками и частично. Исследователи коммуникаций задокументировали многочисленные формы искажений и предубеждений, встречающихся на цифровых платформах, начиная с искажения результатов поиска и заканчивая массовыми манипуляциями[270]. Эти проблемы особенно обострились на президентских выборах в США в 2016 г. и в Британии во время референдума по Брекситу – в обоих этих случаях было немало неприятных историй о вводящих в заблуждение и разжигающих рознь «темных рекламных объявлениях», которые могли видеть только специально таргетированные группы. Мощные эхо-камеры правого толка многократно усиливали громкость ненадежных источников. Процветали политически мотивированные, эгоистичные и попросту безответственные поставщики неправды. «Машины лжи», как их удачно окрестил Филип Н. Говард, штамповали кучу безосновательных историй. Так, Хилари Клинтон была замарана множеством фальшивых историй, которые принесли быстрые прибыли их создателям[271].
Менеджерам платформ было важно,
Для расцвета пропаганды, лжи и сенсаций никакой заговор не нужен. С точки зрения производителей контента, нацеленных исключительно на прибыль, единственной истиной Facebook являются клики и рекламные платежи. По оценкам политологов, десятки тысяч твитов, «написанных» во время вторых президентских дебатов в США, были сгенерированы ботами[272]. Последние выполняют разные функции: они могут разгонять фейковые новости, а когда достаточно количество ботов ретвитнут друг друга, они могут выйти в топ в списке хештегов. Также они могут наводнить хештеги ироничными постами, представив дело так, словно бы истинные публичные проблемы, например, связанные с #BlackLivesMatter, являются попросту шумом, порождаемым оппортунистическими игроками.
Подобных кризисов автоматической публичной сферы так много и они настолько хаотичны, что требуют скорейшей систематической категоризации и скоординированного ответа. В этой главе исследуются проблемы трех типов. Во-первых, ИИ, слепой к содержанию коммуникации, становится легкой мишенью для экстремистов, мошенников и преступников. Только рецензенты-люди, обладающие достаточными данными и силой, способны выявлять, блокировать и предупреждать подобный вред. Во-вторых, платформы, поддерживаемые подобными ИИ, отнимают доходы и внимание у истинных медиаисточников, которые не скрывают своих неудач, а потому платформам все проще завоевывать коммуникационные каналы. Чтобы остановить эту деструктивную петлю обратной связи, надо радикально изменить экономику сетевых медиа. В-третьих, черный ящик ИИ означает то, что мы не всегда можем понять, как, собственно, строится новая медиасреда, да и не всегда понятно даже то, кем именно являются сетевые профили, с нами взаимодействующие, – людьми или ботами. В данном случае самое главное – это атрибуция, то есть раскрытие того, кем управляется сетевой аккаунт – человеком, ИИ или каким-то сочетанием того и другого.
Новые законы робототехники помогают нам понять все эти угрозы и на них ответить. Но также они указывают на то, что автоматическую публичную сферу, быть может, реформировать нельзя. Когда значительная часть медиаоборота автоматизируется, для сохранения сообщества, демократии и социального консенсуса по базовым фактам и ценностям понадобятся, возможно, новые методы структурирования коммуникации. Как доказывается в работе Марка Андреевича, автоматизированные медиа «бросают серьезнейший вызов гражданской установке, необходимой для самоуправления»[273]. Эти опасения не ограничены классической проблемой «пузыря фильтров», поскольку они также вызваны интеллектуальными привычками, необходимыми для каких-либо позитивных изменений в новых медиа, которые оказались бы значимыми в современной публичной сфере.
Также новые законы робототехники применимы к политической экономии медиа в целом. Первый новый закон робототехники требует политики, которая поддерживает профессиональный статус журналистов (и рассматривает ИИ в качестве вспомогательного инструмента, который не должен их замещать)[274]. Модераторам контента нужно более качественное обучение, большая оплата труда и более удобные условия, если мы хотим, чтобы они надежно руководили ИИ в новом контексте социальных сетей. Один из способов финансировать, с одной стороны, журналистику, то есть старую профессию, и, с другой, новые профессии, созданные в результате автоматизации медиа, – это снизить конкурентные требования к публикациям, которые якобы должны участвовать в цифровой гонке за внимание пользователей сети (это предмет третьего закона, запрещающего разорительные гонки вооружений). Далее в этой главе мы будем исследовать способы передачи финансирования от платформ (подобных YouTube и Facebook) людям, которые занимаются тем, что помогают нам понять политику, политический курс и многое другое и в то же время участвовать в них[275].
Этот проект окажется крайне сложным, что отчасти обусловлено новыми формами авторитаризма, которые развиваются в автоматизированной публичной сфере. Некоторые государственные медиа- и интернет-регуляторы, даже в странах, которые безусловно являются демократическими, выведены из строя, их уже невозможно восстановить.
Но это означает лишь то, что проект по защите медиа нужно как можно быстрее запустить в юрисдикциях, которые еще не стали жертвами авторитарного тренда. И даже в тех странах, где это уже случилось, граждане, которые прилагают немало усилий к созданию альтернативных медиасистем, должны найти много полезного в четырех новых законах робототехники и в той их проработке, которая будет дана далее.
Политические, экономические и культурные сбои массовых онлайн-посредников заслуживают внимания и отпора. Хотя часто такие фирмы говорят, что они слишком сложны, чтобы их можно было регулировать, Европа уже показала, как одним незначительным фрагментом автоматической публичной сферы, а именно именами, выдаваемыми в поисковых результатах, можно управлять благодаря закону, который будет человечным и инклюзивным. Этот опыт способен подсказать нам, как развивать более обширную структуру регулирования наиболее распространенной формы ИИ, влияющей ныне на нашу жизнь, а именно автоматизации медиа. Эта структура ответственности, построенная на понятиях
Когда слова убивают
Автоматические медиа могут предстать маловероятным или неудачным предметом для внимания регулирующих ведомств. Ведь это только слова и картинки, не имеющие ничего общего с действиями хирургического робота или автономной вооруженной системы, которые решают вопросы жизни и смерти. Однако сегодня хорошо известны кровавые последствия бесконтрольного распространения высказываний, разжигающих ненависть. Например, в индийской Шри-Ланке и Мьянме фанатики и зеваки распространяли в социальных сетях безосновательные выдумки о мусульманских меньшинствах. Странный слух о том, что мусульмане раздали «23000 стерилизационных таблеток», мгновенно разошелся по Facebook, заставив толпу сжечь один ресторан, который, считалось, отравил еду такими таблетками[276]. Владельцу ресторана несколько месяцев пришлось скрываться. И такие инциденты нередки. Взрывоопасные нарративы межрасовой злобы, как и откровенная ложь, – все это повлияло на ключевые выборы в Британии, Кении и Америке[277]. Они циркулируют на крупных интернет-платформах, стохастически радикализируя пользователей[278].
Множество опасностей появляется, когда критически важная социальная роль, исторически определявшаяся суждением и человеческими контактами, внезапно автоматизируется. Менеджеры и инженеры часто довольно дурно оптимизировали алгоритмы, максимизируя рекламные доходы, для этого использовался набор из кликбейта, сенсаций и манипуляций. Можно подумать, что подсчет просмотров видео – последний заслон человеческого контроля качества. Однако широкое распространение получили «фермы просмотров», состоящие из ботов[279]. Даже когда просмотры настоящие, простое «вовлечение», оцениваемое по времени присутствия пользователя на сайте и на основании текста, который он печатает, – это весьма грубый показатель качественного сетевого времени, не говоря уже о последствиях для демократии или политического общества[280].
Конечно, социальные сети позволили определенным сообществам связаться друг с другом, и в некоторых случаях они поддержали похвальные социальные движения. Мы не стали бы тем не менее соглашаться с повальной автоматизацией в здравоохранении и образовании, если бы она привела к тому, что миллионы учащихся не смогли получить основные сведения о математике или науке, или если бы она вызвала сотни случаев ущерба, который можно предотвратить. Пора отнестись к нашей автоматизированной публичной сфере серьезней, прежде чем в нее смогли проникнуть еще более опасные субъекты. Для этого потребуется подписаться под двумя простыми принципами. Во-первых, защита свободы слова применима прежде всего к людям, а к ИИ она если и применима, то лишь во вторую очередь. Крупные технологические фирмы более не должны скрываться за принципом «свободы слова» как универсальным талисманом безответственности. Во-вторых, ведущие фирмы должны взять на себя ответственность за то, чему они отдают приоритет и что они публикуют. Они более не могут винить «алгоритм» в распространении вредной информации и подстрекательстве. Мы можем либо потребовать от ИИ человеческих ценностей, либо страдать от того, что он будет взращивать в нашей же среде бесчеловечность. Середины тут нет.
Конечно, всегда будут споры о точном определении контента, который в социальном плане настолько опасен, что его нужно запрещать, скрывать или понижать в поисковом рейтинге и новостных лентах. Откровенный расизм, распространение порочащих сведений и отрицание базовых научных фактов – вот то, с чего было бы неплохо начать, особенно когда все эти факторы прямо угрожают жизни и средствам к существованию. В таком процессе определения угроз ключевую роль должны сыграть специализированные рецензионные советы[281].
В идеальном случае они должны отражать ценности пользователей платформы и взвешенные позиции экспертов в данной области, а также включать юристов, способных установить непростой баланс между свободой слова, конфиденциальностью и другими ценностями.
Еще важнее переосмыслить отношение между новыми и старыми медиа. Большинству журналистов, несмотря на все их хорошо известные прегрешения, можно доверять в том, что они, по крайней мере, пытаются проверять точность новостей, отчасти потому, что на них лежит юридическая ответственность: бездумная ложь может стать причиной судебного обвинения в клевете. Тогда как лоббисты технологических фирм убедили слишком большое число законодателей и регуляторов в том, что их платформы следует считать такими же проводниками, как и любые другие, то есть чем-то вроде телефонной линии. Эта удобная характеристика позволяет им избегать ответственности за клевету[282].
Подобную безнаказанность можно было понять, когда Facebook и Google были начинающими компаниями. Но теперь это анахронизм. Авторитарная пропаганда заполонила новостные ленты и поисковики[283]. Facebook может снимать с себя ответственность за распространение фальшивых историй, в которых утверждалось, что папа римский одобрил кандидатуру Дональда Трампа или что Хилари Клинтон – сатанистка[284]. Однако с тех пор он взял на себя больше ответственности за политические кампании. Как сообщали Алексис Мадригал и Иэн Богост, «компания поощряет рекламодателей передавать ей все бразды правления, что позволяет Facebook самостоятельно распределять средства на рекламу, аудитории, графики и бюджеты»[285]. Также он экспериментирует с содержанием и внешним оформлением рекламных объявлений. В какой-то момент ИИ не столько ищет аудиторию, сколько ее создает, и выступает не столько проводником послания, сколько его соавтором.
Во многих контекстах крупные технологические фирмы – это не только платформы, но также и публикаторы, не только посредники, но и медиа. Их собственные конструктивные решения означают, что резюме материалов, которые распространяются в Facebook, а также выдаются в мобильных приложениях и настольных версиях Google, стремятся выглядеть одинаково авторитетно, независимо от того, какой у них источник[286]. Соответственно, история из сфабрикованного издания Denver Guardian, в которой Хилари Клинтон безосновательно связывалась с самоубийством агента ФБР, может предстать столь же авторитетной, как и получившее Пулитцеровскую премию журналистское расследование, в котором подобные теории заговора разоблачались[287]. К тому же Facebook получает и более прямую прибыль от фейковых новостей: чем больше пользователи делятся какой-то историей (каковы бы ни были ее достоинства), тем больше рекламных прибылей она приносит[288]. К концу выборов 2016 г. фейковые новости в Facebook в этом плане превзошли по эффективности реальные новости[289]. Нам всем известно, что Facebook помог кампании Трампа сосредоточить свои силы на афроамериканской аудитории, чтобы подавить их голоса[290].
Пока рекламные деньги продолжали сыпаться, этика во всем этом играла вторичную роль. Директоров по безопасности в фирме игнорировали, даже когда они говорили топ-менеджерам, что государственные и негосударственные акторы занимаются на платформе злонамеренными манипуляциями[291]. Конечно, Facebook в этом был не одинок; безответственность маргинальных новостных источников (и нерадивость достойных медиаинститутов) ускорила рост популярности авторитарных лидеров, известных своей ксенофобией. Однако гиганты технической индустрии редко оказывались невинными попутчиками. Facebook крайне неохотно реагировал на вирусное содержание фейкового характера, вводящее в заблуждение[292]. Если Джеку Дорси из Twitter понадобилось шесть лет, чтобы остановить такого разоблачителя истории Сэнди Хук, как Алекс Джонс (агрессивно защищавшего сторонников теории заговора, которые изводили родителей убитых детей, заявляя, что родители сами подстроили резню), значит, что-то с сетью не так. Основная проблема – слепая вера в ИИ, стоящий за алгоритмическими лентами новостей, и вытекающее из этой веры уклонение от ответственности руководителей технологических компаний, которые могли бы приструнить смутьянов.
Технологические гиганты более не могут убедительно выдавать себя за платформы для чужого контента, особенно когда они наживаются на микротаргетировании рекламы, доносящем определенный контент до людей, на которых она более всего влияет[293]. Они должны взять на себя редакторскую ответственность, а это значит, что следует привлечь намного больше журналистов и фактологов, чтобы справиться с проблемами, которые алгоритмы решить не смогли[294]. Апологеты крупных технологических фирм заявляют, что несколько фирм не могут брать на себя подобную ответственность (или что это просто глупо). Они утверждают, что объем распространяемого контента просто-напросто слишком велик, чтобы им управлял какой-то человек или какая-то группа. Они продолжают раздраженно настаивать на том, что идеальное решение проблем платформ – это алгоритмы, а не человеческие знания и навыки. Этот аргумент игнорирует реальность постоянной алгоритмической и ручной настройки новостных потоков в таких сетях, как Facebook[295]. Любое устойчивое решение проблемы потребует сотрудничества журналистов и программистов.
Проблема уклонения больших технологических компаний от своих обязанностей собственника
После каждого крупного скандала большие технологические фирмы приносят извинения и обещают исправиться. Иногда они даже вкладывают деньги в более обширную модерацию контента или закрывают наиболее одиозные источники дезинформации и насилия. Однако каждый шаг к безопасности и ответственности на платформах может быть отменен из-за неспособности все время следить за проблемой, халатности и потенциальной прибыли, которая скрывается в привлекательном и красочном контенте. Этот цикл мы наблюдали в случае Google и антисемитизма. Хотя в 2004 г. поисковый гигант снабдил наконец специальными метками некоторые сайты с нацистским содержанием и издания расистов, позже он отступил, пока в 2016 г. к нему не обратились журналистка Кэрол Кадваладр и известный исследователь Сафия Умоя Нобле[296]. К 2018 г. многие заподозрили, что алгоритмическая «кроличья нора» была оптимизирована искусственным интеллектом так, чтобы завлекать ничего не подозревающих пользователей к контенту альт-правых или даже к более опасным источникам[297]. Пока ИИ управляет автоматической публичной сферой, нацеленной на получение прибыли, можно ожидать повторения той же схемы: приступ озабоченности, вызванный критикой в адрес медиа, после которого снова воцаряется безответственность.
Хотя подобное отступление не является неизбежным, такова ясная и актуальная опасность ИИ, для которого в основном важны лишь требования акционеров крупнейших фирм. Только масштаб может дать прибыли, которые нужны инвесторам, и только ИИ может управлять масштабом на его актуальном уровне. Как заметил Ивэн Оснос в своей статье о Марке Цукерберге, «между масштабом и безопасностью он выбрал масштаб»[298]. Дети, диссиденты, модераторы, владельцы взломанных аккаунтов и другие жертвы – все они ежедневно несут на себе бремя этого решения, переживая предсказуемые последствия гигантизма социальной сети. И если огромные банки стали слишком большими, чтобы обанкротиться, гигантские технологические фирмы слишком велики, чтобы подобные последствия их волновали.
Раньше электронной нянькой считалось телевидение, которое развлекало детей, чьи родители были слишком заняты или бедны, чтобы занять их чем-то более интересным. YouTube выдает миллионы различных мультфильмов, которые помогают родителю или няньке с клинической точностью найти именно то, что загипнотизирует кричащего младенца или уставшего ребенка. Но огромный запас видеоматериалов, которые доступны по одному клику, неимоверно усложняет задачу родительского контроля. Если какие-то нездоровые люди включали в мультипликационный контент инструкции о том, как совершить самоубийство, искусственный интеллект YouTube, ничего не понимающий в смысле ролика, ставил ему такой же рейтинг, что и совершенно невинным детским программам.
Обычный процесс модерации контента на YouTube в принципе со временем может улучшиться, научившись быстрее отлавливать видеоматериалы такого рода. Но некоторый контент, порождаемый алгоритмами, вызывает опасения другого уровня. Учитывая распространение в сети автоматических ремиксов, такие невинные мультипликационные герои, как свинка Пеппа, могут болтать в видео с друзьями, а потом размахивать ножами и ружьями в «сатирическом» ролике, который автоматически запускается сразу после настоящего. Художник Джеймс Бридл утверждает, что дело не ограничивается одной лишь благопристойностью. По его словам, в таких видео с Пеппой особенно пугает то, что «очевидные пародии и мрачные пастиши взаимодействуют с легионами алгоритмических производителей контента, так что в итоге становится просто невозможно понять, что происходит» и с чем мы имеем дело – с примером художественной изобретательности, сатирой, жестокостью или извращенной попыткой познакомить маленьких детей с контентом, содержащим сцены насилия и секса[299]. Контекст отсутствия контекста смешивает все эти формы друг с другом, сближая несовместимые материалы. Из этого предсказуемо возникают злоупотребления, которые заставляют поставить серьезные вопросы о роли ИИ в отборе контента:
Главной проблемой YouTube являются совсем маленькие дети, которые с самого рождения целенаправленно таргетируются контентом, который может травматизировать и смутить их, распространяясь в сетях, особенно уязвимые перед злоупотреблениями такого вида. Вопрос не в намерении, а в том насилии, которое неотъемлемо от цифровых систем, сочетающихся с капиталистическими мотивами. Система уличена в злоупотреблении, a YouTube и Google замешаны в системе[300].
Такие ремиксы подпитывают циническую игру опытов над детьми, в которых основным признаком успеха является то, что приносит больше рекламных доходов.
Обычная телекомпания, показывающая подобный мусор, была бы вынуждена поплатиться – падением просмотров или бойкотом со стороны спонсоров. Но когда журналисты и публика в целом считают «алгоритм» неким неподконтрольным монстром вроде Франкенштейна, YouTube может выдавать себя за всего лишь платформу, перекладывая вину за любые ошибки на суетливую толпу создателей контента, программистов и поисковых оптимизаторов. Его последовательная безответственность показывает, как технологические фирмы могут захватывать все более обширную область нашего опыта, считая своей заслугой удачи и отмахиваясь от вины за катастрофы.
В этом сценарии ИИ служит поводом для прощения, поскольку это настолько сложный способ создания и упорядочивания контента, что его не могут контролировать даже его собственники, по крайней мере, если верить им самим. Это очевидный способ увернуться от ответственности. Телестанции часто прерывают трансляцию, если что-то идет не так. В MySpace, одной из первых социальных сетей, был специальный работник, который проверял каждое изображение, опубликованное в Бразилии, чтобы остановить циркуляцию изображений издевательств над детьми. И YouTube, и Facebook нанимают специальных «чистильщиков», оценивающих постфактум изображения и видео, на которые жалуются другие пользователи или которые замечаются алгоритмами. Но они могут намного больше вкладываться в безопасность, когда речь идет о некоторых уязвимых группах (например, детях) или напряженных периодах (например, сразу после массовой стрельбы, мотивированной расовой ненавистью).
Несмотря на постоянный пиар и обещания «исправиться», не иссякает поток новостей, показывающих, насколько плохо технологические фирмы справляются с этими ролями. New York Times обнаружила, что YouTube иногда автоматически рекомендовал домашние видео детей в купальниках сразу после сексуально окрашенного контента, в чем отразились педофильские наклонности его ИИ[301]. Группа Reveal News выяснила, что Facebook таргетировал людей, имеющих склонность к азартным играм, все более привлекательными видеорекламами покера. Даже если бы таких историй стало сегодня намного меньше, было бы сложно сказать, в чем причина – в более ответственном поведении платформ или просто в сокращении таких репортажей из-за перенаправления потока рекламных доходов цифровыми посредниками.
Восстановление ответственности в сфере сетевых медиа
Если бы у компаний Google и Facebook были четкие и публично признанные идеологические программы, взрослые пользователи могли бы их освоить и выработать соответствующую защиту от них, относясь к выгодному этим компаниям контенту с определенным скепсисом. Но ИИ-платформы правильнее понимать как мощное средство, которым орудуют оптимизаторы поисковых машин, хорошо организованные экстремисты и другие маргиналы. Поиск в Google по запросу «здоровье Хилари Клинтон» в сентябре 2016 г. (после того как она теряла сознание) вел к многочисленным сомнительным видео и статьям, в которых безосновательно утверждалось, что у нее болезнь Паркинсона. В том военном сумбуре, который создают современные политические кампании, сам факт распространения подобных порочащих видео (какова бы ни была их правдивость) может стать важной темой публичных дискуссий. Манипуляторы знают, что создание бесконечного потока мнимых вопросов (и не важно, проверены они кем-то или просто сфабрикованы) способно подорвать шансы кандидата на определение публичной повестки[302].
Если нет людей-редакторов или менеджеров, которые бы брали на себя прямую ответственность за алгоритмические решения, сетевые платформы способны представить худшие социальные элементы в лучшем, убедительном и авторитетном свете. Так, поисковые результаты Google спровоцировали расиста Дилана Руфа, который убил девять человек в так называемой исторической черной церкви в Южной Каролине в 2015 г. Руф сказал, что, когда он погуглил «преступления черных против белых», то нашел посты организаций – сторонниц теории расового превосходства, в которых рассказывалось о «белом геноциде». «После этого я стал другим человеком», – сказал он[303]. Теория заговора ttPizzagate подтолкнула по крайней мере одного стрелка «изучить» безосновательные утверждения о сексуальных домогательствах в одной вашингтонской пиццерии, где он размахивал винтовкой AR-15. В горячечной топи автоматических поисковых результатов легко растет и распространяется поддержка отрицателей изменения климата, женоненавистников, этнонационалистов и террористов[304].
Автозаполнение в Google – автоматическое предугадывание запроса пользователя по одному или двум словам – также порой вызывало недовольство и споры[305]. Часто оно повторяет или подкрепляет расистские стереотипы[306]. В поиске изображений в Google некоторые фотографии черных людей были помечены как фотографии горилл, что было оскорбительным и в то же время абсурдным. За год Google «решил» эту проблему, отключив классификатор «горилла» для всех фотографий; соответственно, ни одно изображение не было им помечено, даже настоящие гориллы. Это решение на скорую руку не может на самом деле решить базовых проблем расистских или сексистских данных, которые используются сегодня для тренировки систем машинного обучения, или сократить уязвимость этих систем перед подобными атаками[307].
Многие представители элит, столкнувшись с подобными расистскими или сексистскими стереотипами, известными по поиску изображений в Google, могли бы посчитать их всего лишь трагическим отражением установок невежественных пользователей Google. Ведь, в конце концов, пользователи сами поставляют данные. Но такой перенос ответственности не убеждает. Как указывает Сафия Умоя Нобле в своей книге «Алгоритмы подавления», где она опирается на свой опыт академического ученого и бизнесвумен, когда цена высока, цифровые гиганты готовы вмешаться и поменять результаты (например, в коммерческих контекстах продажи рекламы). И они должны нести такую же ответственность в том случае, когда создается угроза общественным интересам.
Поделиться книгой: