Помоги проекту - поделись книгой:
Это попустительство подкрепляется экономическими стимулами. Дешевые приложения психического здоровья – настоящий подарок для систем здравоохранения, которые стремятся во что бы то ни стало снизить расходы, например, для британской Национальной системы здравоохранения (NHS). Медицинские власти в Британии стали использовать библиотеку приложений NHS для рекомендаций специальных приложений тем, кто страдает от депрессии и тревожности. К сожалению, по данным исследования, представленного в журнале Evidence Based Mental Health, истинную клиническую ценность большинства приложений «определить невозможно»[134]. Только два из изученных приложений применяли проверенные количественные параметры. Также совершенно неясно, могут ли цифровые заменители недоступных специалистов по психическим болезням соответствовать стандартам, в том числе конфиденциальности, которые ожидаются от людей, предлагающих медицинские услуги[135]. Эта обеспокоенность, которая становится все более острой в сфере цифровых ассистентов, будет еще более выраженной в области медицинской помощи, где подобные проблемы доверия особенно значимы[136].
За этой проблемой тоже стоит история. Технологические решения, нацеленные на быстрые результаты, часто могут развиваться по непредсказуемой траектории. Опасные патентованные средства десятилетиями соблазняли доверчивую публику, что привело к некоторым печальным результатам[137]. Особенно такие препараты были привлекательны для тех, кто не мог попасть к врачу, и точно так же приложения психического здоровья сегодня рекламируются тем, кто не может попасть к терапевту, ведь это «лучше, чем ничего». Недавно Конгресс исключил диетические добавки из списка препаратов, регулируемых FDA, создав «Дикий Запад» сомнительных «естественных снадобий»[138]. Эффективность этих субстанций по большей части не доказана. Неудивительно, что дерегулирование искажает подобным образом цифровую диагностику и цифровую терапию.
Давняя история терапевтических программ позволяет лучше понять сегодняшний перенасыщенный рынок ИИ-консультаций. Специалист по компьютерным наукам из MIT Джозеф Вейценбаум разработал одну из наиболее известных программ, ELIZA (названную по имени Элизы Дулитл из «Пигмалиона», поскольку программа копировала речевые паттерны пользователей). Этот чат-бот, один из первых, подражал психотерапевту школы Роджерса. В статье 1966 г. Вейценбаум привел следующий пример беседы между пользователем и программой:
Пользовательница: Все мужчины одинаковы.
ELIZA: В ЧЕМ?
П.: Вечно они донимают нас то тем, то другим.
Е.: МОЖЕТЕ ЛИ ВЫ ПРИВЕСТИ КОНКРЕТНЫЙ ПРИМЕР?
П.: Ну, например, мой друг заставил меня прийти сюда.
Е.: ВАШ ДРУГ ЗАСТАВИЛ ВАС ПРИЙТИ СЮДА?
П.: Он говорит, что я почти все время чем-то подавлена.
Е.: МНЕ ПРИСКОРБНО СЛЫШАТЬ, ЧТО ВЫ ЧЕМ-ТО ПОДАВЛЕНЫ.
Поначалу Вейценбаум очень гордился своим творением. Он показывал его и преподавателям, и техническому персоналу MIT. Пользователи часто «секретничали» с программой, притом настолько часто, что Вейценбаум вскоре прекратил работу над этим проектом, опасаясь, что из-за него люди начнут отказываться от других, более содержательных форм терапевтической работы[139]. Учитывая навязчивое стремление современных технократов от здравоохранения сократить во что бы то ни стало расходы, эта обеспокоенность оказалась пророческой. В эпоху «покупок, ориентированных на реальную ценность» приложение за 2,99 долл. может показаться безусловно привлекательной заменой психиатру.
Защитники приложений, возможно, заявят, что не стоит вспоминать об ELIZA, ведь за последние полвека получила развитие намного более совершенная технология. Однако в большинстве топовых приложений психического здоровья, с которыми имеет дело потребитель, по-прежнему используется простой текстовой интерфейс. Весьма популярное приложение Woebot разработано для автоматизации определенных приемов когнитивно-поведенческой терапии. Woebot начинает разговоры с пользователем достаточно ненавязчиво, отслеживая их с помощью простых дихотомических ответов. Например, в начале разговора Woebot пишет: «Мои данные, основанные на исследовании в Стэндфордском университете, показывают, что людям требуется около 14 дней на то, чтобы научиться разговаривать со мной и начать себя лучше чувствовать». Пользователь не может задать критические вопросы, в частности: «Какое исследование в Стэнфорде? Сколько в нем было участников? С чем работала контрольная группа?». Два допустимых ответа, которые я увидел, когда сам тестировал это приложение, сводились к следующим: «Хорошо» или «Гм…». Подобные бинарные ответы постоянно используются в приложении, дисциплинируя пользователя.
Для человека, привыкшего к тестам со многими вариантами ответов, простым телефонным играм вроде Candy Crush и бинарным реакциям «нравится/не нравится» в сетях Facebook, Instagram и Twitter, кнопки ответов в Woebot могут быть приятным продолжением безболезненного цифрового дрейфа. Они снимают с человека задачу по объяснению себя самого, по формулировке разумного ответа, как и решение о том, как относиться к собеседнику – со скепсисом или доверием. Тем, кто уже страдает депрессией, это может принести облегчение.
Но существует метод лечения – его обычно называют лечением разговором, – в котором формулировка высказываний как раз и считается
Конечно, эти опасения возникли еще десятилетия назад, когда появились психотропные препараты[142]. Критики доказывали, что пациентам лучше изучать более глубокие причины своих проблем, чем пытаться отделаться от них за счет лекарств[143]. Но в этом случае, по крайней мере, эксперт, прежде чем начать лечение, высказывает свое мнение. Слишком многие терапевтические приложения пренебрегают даже такой предосторожностью, выходя прямо на рынок, где они доступны пациентам.
Другая линия критики связана с уязвимостью пользователей, которые могут пострадать от недобросовестной манипуляции, которой занимаются неизвестные силы[144]. Рассмотрим, к примеру, терапевтическое приложение, «лечащее» работника, который недоволен временем, проводимым им на работе. Работник чувствует, что ему недоплачивают или что его недостаточно ценят, и свое недовольство он формулирует в приложении. На такую проблему можно дать несколько возможных ответов. Например, приложение может заставить проявлять настойчивость, подталкивая работника к тому, чтобы он потребовал прибавки. С другой стороны, оно же может предписать созерцательную покорность своей судьбе, поощряя его ценить все то, что у него уже есть. Или оно может занять позицию подчеркнутой нейтральности, пытаясь углубиться в причины беспокойства работника. Попробуйте догадаться, какой ответ такое приложение должно было бы выдать работнику по мысли работодателя. Специалисты служат определенным буфером, позволяющим устранить подобные конфликты интересов. Они могут выступать более нейтральными интерпретаторами заболеваний, с которыми к ним обращаются, чем приложения или ИИ, управляемые третьими сторонами, будь то работодатели, страховщики или государства[145].
Предсказательная аналитика работает лучше всего, когда есть ясные и точно определенные параметры успеха. Но в случае проблем с психическим здоровьем есть множество способов определять проблемы и искать решения. Различные коммерческие модели могут склонять к разным определениям ментального заболевания и выбора его лечения. Бесплатное приложение, работающее за счет рекламы, не обязательно оптимизирует «время пребывания» пользователя в приложении, но оно может манипулировать им иначе, что необходимо для его продвижения. Рассказы человека о своем собственном благополучии могут быть
бесспорной базовой истиной, на основе которой нужно мерить ценность приложений[146]. Однако само понятие благополучия колонизировано корпорациями и государством, которые связали его с более объективными показателями, такими как производительность[147]. В процессе подобной колонизации был потерян смысл обозначения эмоций как «форм суждения», если воспользоваться удачным термином Марты Нуссбаум[148]. Они рискуют стать еще одним объектом максимизации с применением цифровой «сомы», поставляемой быстро растущей «индустрией счастья»[149].
И академические ученые, и активисты указывали на проблематические предубеждения врачей и других поставщиков медицинских услуг[150]. Движение за алгоритмическую ответственность в медицине должно будет действовать и дальше – критиковать и исправлять предубеждения и иные проблемы, способные отяготить медицинскую помощь с компьютерным компонентом. Лучшая структурная защита – следить за тем, чтобы большая часть приложений разрабатывалась для усиления интеллекта ответственных специалистов, а не в качестве замещающего их ИИ[151]. Также в развитии гуманистических (а не бихевиористических) приложений психического здоровья должны играть свою роль и многие другие аспекты медицинского законодательства и программ развития (в частности, нормативы лицензирования и программы компенсации)[152].
Освобождение людей, ухаживающих за больными, или автоматическая медицинская помощь?
Медицинская помощь может быть сложной, грязной, монотонной и даже опасной работой. Постепенно складывающаяся армия роботов и ИИ может облегчить это бремя. Роботы уже проникли в больницы и дома престарелых. Немногие сомневаются в том, что их можно использовать в качестве уборщиков, подсказчиков (чтобы вовремя принимать лекарства или, например, не есть соль), подъемников (лежачих пациентов) или в каких-то других вспомогательных ролях. Все они освобождают людей, ухаживающих за больными, – родственников или сиделок, врачей или друзей, которые получают возможность заниматься другой, более осмысленной помощью. Японский Robear может поднимать пациентов из кровати и укладывать их, чем избавляет медсестер и санитаров от травм спины. Автоматические таблетницы способны предупредить ошибки в приеме препаратов, которые являются серьезной проблемой в гериатрическом уходе.
В идеальном случае все эти инновации освобождают людей, ухаживающих за больными, так что они получают возможность заниматься работой, которая может быть только человеческой. Рассмотрим, к примеру, следующее описание хосписного работника и то, как она утешает умирающих.
Хэзер – не энергичная и не эффективная, в отличие от больничных медсестер. На самом деле ее неэффективность намеренна. Большую часть времени, посещая пациентов, она делает не слишком многое: записывает показатели жизненно важных функций, проверяет, достаточно ли медикаментов и других припасов, спрашивает, прошли ли прежние симптомы и появились ли новые… Однако даже когда ей нечего делать, задача в том, чтобы побыть рядом, поговорить, посидеть, погладить пациента рукой во время осмотра. Ее визит для пациента может стать самым насыщенным моментом за весь день… Поэтому Хэзер двигается медленно; она усаживается, задерживается, медлит[153].
В медицинских организациях, где вечно не хватает времени, уход такого типа встречается довольно редко. Даже когда те, кто симпатизируют медсестрам, учитывают в кадровом составе минимум подобного ухода, они редко закладывают время для подобной целенаправленной «неэффективности». И это ошибка, поскольку неявные моменты работы такой медсестры в хосписе одни из самых важных.
Некоторые ИИ и роботы сегодня проектируются для выполнения задач сопровождения и эмоциональной связи. Журналистка Нелли Боулс описала Билла, пожилого мужчину, который был рад той помощи, которую ему оказал Sox. Sox – это просто анимированный кот на экране планшета, который спрашивал его о том, как он провел день, отвечал на его вопросы и время от времени советовал ему лучше питаться[154]. Билл знал, что Sox управляется удаленными операторами, которые печатают то, что он должен «сказать», наблюдая за его движениями. Однако он обнаружил, что даже эти поверхностные вопросы о его жизни и здоровье помогали сгладить одиночество, от которого он страдал после смерти жены. Другой клиент Sox заявил в записанном им видео: «Хорошо, когда у тебя есть тот, кто спрашивает, как прошел твой день и не беспокоит ли тебя что-то»[155].
Ирландская компания – производитель роботов Mylo готова сделать собственным лицом кошачью мордочку[156]. Mylo – это мобильный объект, очертаниями немного напоминающий робота С-3РО из «Звездных войн». Социальный предприниматель, разработавший Mylo, рекламировал робота как утешителя и напоминателя, способного напомнить пациентам, страдающим деменцией, о ежедневных таблетках или дать сигнал семье, когда клиент, к примеру, нуждается в помощи или когда он слишком долго остается неподвижным. Потребители могут арендовать Mylo всего лишь за девять евро в день, что дешевле часа работы профессиональной сиделки. Такая разница в цене может привести к тому, что роботы перешагнут границы своей роли помощников людей, ухаживающих за больными, и начнут их заменять.
Куклам, мультипликационным и телевизионным персонажам довольно легко приписывать личные качества. Достаточно изолированному человеку (можно привести пример героя Тома Хэнкса в фильме «Изгой») хватит и волейбольного мяча. Теоретики медиа Байрон Ривз и Клиффорд Насс отметили, что многие люди относятся к медиагероям так, словно бы они реально присутствовали в их жизни. Такие «реакции не требуют стратегического мышления, скорее, они бессознательны. Реакции не являются следствием выбора человека, они возникают постоянно и с большой скоростью»[157]. Роботы могут вызвать похожие аффекты, склоняя к их антропоморфизации или зооморфизации[158]. Когда они пробуждают подобные чувства доверия или дружественности у представителей уязвимых групп населения, возникают весьма щекотливые этические вопросы[159].
Рассмотрим, к примеру, потенциальные области применения похожих на животных роботов, выступающих в роли заменителей домашних животных. Терапия с применением животных была популярна в лечебных учреждениях для хронически больных, в частности, в «зеленых домах престарелых»[160]. К сожалению, персоналу трудно содержать животных, к тому же многие заведения боятся ответственности, которую вынуждены нести в том случае, когда животные кусаются или царапаются. Роботы предлагают более безопасную альтернативу. Японские исследователи разработали Раго – робота в виде плюшевой игрушки. Он выглядит как тюлененок и играет роль компаньона для пациентов, страдающих от деменции. Раго может выступать своего рода домашним любимцем, изображая внешние признаки внимания, нужды и расслабленности. Он хлопает глазами, пищит и мяукает, шевелит усами и хвостом. Не являясь человекоподобным компаньоном, он при этом устраняет риски контакта с животным.
Исследовательница из MIT Шерри Теркл призывала отнестись к тому, что мы все больше опираемся на робототехнику, с крайней осторожностью. Ее близкое знакомство с уязвимыми группами населения показало, насколько сильным может быть воздействие симулякров: «Пожилые люди в домах престарелых играют с роботом Раго и пытаются понять, как охарактеризовать это создание, которое выдает себя за тюлененка. После вопросов: „Умеет ли он плавать?“ или „Ест ли он?“ – они переходят к вопросам: „Он живой?“ и „Может ли он любить?“»[161]. Теркл обеспокоена обществом, в котором занятые взрослые оставляют своих стареющих родителей с набором сложных игрушек, вместо того чтобы посещать их. Теркл, основатель и директор «Инициативы технологий и субъекта» в MIT, видит в избыточной увлеченности гаджетом замену человека «машинным» компонентом – «дешевое свидание» роботизированного взаимодействия, замещающего более непредсказуемый, но в конечном счете более сложный и радостный контакт любви, дружбы и товарищества. Хотя видеофильмы и исследования фиксируют положительное воздействие робота Раго на настроение хронически одиноких людей, Теркл предполагает, что подобная мотивация может с таким же успехом служить предлогом для небрежения. Некоторые могут рассудить: зачем навещать бабушку, если у нее есть компаньон – робот в виде животного?
Защитники робота Раго указывают на практическую потребность в инновации такого типа, которую можно понять, если учесть одиночество многих пожилых людей. Даже терапевты, использующие в своей работе домашних животных, могут посещать больного лишь на несколько часов за раз. Разве Раго не лучше, чем ничего, если нет никакой альтернативы, то есть ни человека, ни животного, которые могли бы проявить сочувствие и обеспокоенность? В той мере, в какой человек завершает цикл, двигаясь от младенчества к дряхлости, разве Раго не является попросту высокотехнологическим вариантом «Плюшевого кролика», классической детской сказки, в котором плюшевая игрушка для одинокого мальчика становится настоящей? Раго, говорят его защитники, заменяет настоящего компаньона не для всех, а лишь для небольшой группы, чьи потребности в уходе частные и государственные средства удовлетворить не могут.
Апологеты социальных роботов в уходе за пожилыми обычно приводят статистику, указывающую на нехватку качественного ухода в домах престарелых, а также на высокую стоимость подобных услуг и экономическую обусловленность их инноваций[162]. Во многих развитых экономиках пирамида возраста превращается в прямоугольник, в котором пожилых столько же, сколько и молодых. Неизбежный выход на пенсию миллионов беби-бумеров в США уже несколько десятилетий является настоящей головной болью для планировщиков долгосрочной медицинской помощи. Все это заставляет видеть в технологии, заменяющей людей, правильное решение. Подобная технология, если поместить ее в контекст «строительства стены» ксенофобии и экофашистского национализма, для богатых стран может стать предлогом ограничения иммиграции. Например, стареющее население может решить, что не нужно допускать в страну молодых рабочих из-за рубежа, если будет уверено, что роботы смогут выполнять работу, которую сейчас делают иммигранты. Это движение к самодостаточности может оказаться несостоятельным: поскольку роботы (или их собственники) платят меньше налогов, чем рабочая сила, у них меньше возможности платить пенсии по старости и оплачивать медицинскую помощь, чем у рабочих, которых они заменяют. Политики и стратеги должны четко понимать долгосрочные фискальные последствия, прежде чем требовать ускорения автоматизации медицинской помощи и ухода.
Для верной оценки масштаба и потенциала социальных роботов крайне важна общая картина политической экономии ухода. Нехватка финансирования ухода за пожилыми не является естественным следствием экономической науки. И то же самое относится к трудоголизму, из-за которого частые посещения членами семьи начинают казаться недостижимой роскошью. Они суть производное определенной публичной политики, которое более удачная политика может отменить (или, по крайней мере, сгладить). Если бы в богатых странах действовала более открытая политика иммиграции, рабочие из многих других стран могли бы заняться работой по уходу и медицинской помощи. Как показала Ай-Джен Пу, гуманное устройство труда иммигрантов (и создание траекторий получения гражданства) – путь к глобальной солидарности и взаимопомощи[163]. Соответственно, фирмы, которые жаловались на нехватку квалифицированных работников, были завалены заявками, 82 когда подняли уровень компенсации[164].
Конечно, в разных государствах может по-разному оцениваться необходимость роботизированного ухода за престарелыми. Универсального рецепта в этом случае не существует. Японские лидеры проявили особую заинтересованность в применении технологии в медицинских заведениях[165]. Некоторые комментаторы утверждали, что синтоизм и буддизм склоняют японцев к положительной оценке роботов и связанной с ними технологии. Например, бывший директор MIT Media Lab Джой Ито обнаружил глубинную связь между различными формами анимизма и положительным отношением к роботам[166].
Однако японская культура – это не монолит, в ее плюрализме можно заметить голоса, призывающие относиться к распространению ИИ с осторожностью[167]. Так, в ходе одной оживленной дискуссии аниматор Хаяо Миядзаки отверг анимированное с применением ИИ изображение гротескной гуманоидной фигуры:
Мне это крайне неприятно. Если вы на самом деле хотите сделать что-то отвратительное, тогда вперед. Я никогда не стану применять эту технологию в собственной работе… У меня четкое ощущение, что это оскорбление самой жизни… Мне кажется, что близится конец времен. Мы, люди, теряем веру в самих себя[168].
Подобные гневные высказывания, как у Миядзаки, усложняют любой простой нарратив о единогласном одобрении роботов в Японии. На каждое воодушевленное внедрение тех же роботов-компаньонов можно найти примеры упорной защиты человека, личного контакта, традиционных моделей взаимодействия. К любым «культурным» аргументам следует подходить с осторожностью, поскольку представления о культурном единстве обычно вытесняют или упускают из вида существующие тревоги и возражения[169]. Точно так же, как Амартия Сен раскритиковал заявление руководителей Сингапура об особых «азиатских ценностях», которые противостоят правам человека, мы сегодня должны сопротивляться упрощенным представлениям об однородности той или иной культуры[170].
Хотя можно указать на фильмы и мангу как свидетельства преданности японской культуре автоматизации, в них тоже заметны ноты трагедии и сожаления. Пророческий (хотя и довольно прямолинейный) японский фильм 1991 г. «Старик Зет» (Rojin Z) стал выражением страхов, связанных с заменой человеческого ухода машинами. В фильме о больном и немощном старике «заботится» сверх-машинизированная кровать, которая предвосхищает любую его потребность – посмотреть телевизор, подстричь ногти, помыться, даже поесть и испражниться. Гротескна не только представленная в фильме картина тотального механического ухода. Само представление о такой машине, отвлеченной от всякого человеческого участия, от руководства человека и его достоинства, вызывает глубокое беспокойство. Ставки настолько велики, представление о том, что делает жизнь достойной, настолько невыразимо и изменчиво, принятие решений в столь значительной степени распределено между людьми, ухаживающими за больными, и теми, кто является объектом такого ухода, что рутинизация кажется в лучшем случае плохой идеей, а в худшем – настоящим оскорблением.
Конечно, каждый из таких примеров может иллюстрировать «культурные разногласия» в Японии, а не типичные установки. Данит Гал, помощница руководителя проекта и преподаватель в Исследовательском центре киберцивилизации университета Кэйо, построила типологию отношений к ИИ и роботам, распределив их в спектре между «инструментом» (которым следует пользоваться) и «партнером» (определение, которое выводит на комплекс эмпатии, солидарности и даже дружбы и любви)[171]. Гал приводит несколько подтверждений того, что Япония ближе к «партнерскому» краю спектра. Однако Гал, не делая вывода о доказанности монолитического строения «азиатских ценностей», определяющих положительное отношение к технологии, утверждает, что Южная Корея смогла выработать «четкую иерархию, в которой человек выше машины, причем ИИ и роботы должны поддерживать и укреплять такое господство человека». Она приходит к заключению, что Китай находится где-то посередине между двумя этими парадигмами, поскольку в нем продолжается политический и культурный спор о фундаментальных посылках взаимодействия человека и робота. В развитии этих отличных друг от друга подходов экономисты не должны пытаться склонить чашу весов в пользу заместительной автоматизации. Они могут точно так же рекомендовать уход, выполняемый человеком.
Политическая экономия роботизированного ухода
Более значительные тенденции в занятости рабочей силы и спросе на нее также играют свою роль. Роботизированный уход имеет намного больше смысла в обществе, где взрослые дети постоянно вынуждены все больше работать; перегруженное «сэндвичное поколение» вынуждено чем-то жертвовать. Если бы, наоборот, прибыли от производительности распределялись лучше, спрос на роботов в области ухода за пожилыми, скорее всего, упал бы. Распространение инноваций обусловлено не столько существованием самого устройства как такового, сколько потребностью, которой оно служит в определенной
Наконец, и это наиболее важная часть моего аргумента в этой главе, выбор между социальными роботами и медицинским персоналом представляет собой ложную дихотомию. Даже ярые сторонники социальных роботов обычно описывают их как помощников, а не заменителей сиделок и медсестер. Научные данные говорят в их пользу. Например, применение робота Раго вместе с интенсивной работой сиделок и других лиц, ухаживающих за больными, дает лучшие результаты, чем исключительно дистанционные методы. За последнее десятилетие ученые провели ряд исследований подобных применений роботов и пришли к некоторым положительным результатам. Исследователи-психиатры на Тайване выяснили, что «терапия с применением роботов может использоваться в стандартных программах, поскольку она обладает способностью повышать социальное благополучие престарелых в учреждениях интернатного типа»[173]. Норвежские планирующие инстанции выяснили, что «Раго, видимо, выступает медиатором усиливающихся социальных взаимодействий, привлекая к ним» престарелых пациентов с деменцией, которым его предоставляли[174]. Люди, осуществляющие уход, могут структурировать взаимодействие с социальными роботами, поощряя самовыражение, заботу о близких и беседы. Эта дополнительность помогает и пациенту, и человеку, заботящемуся о нем.
Профессиональные учебные заведения и медицинские системы должны развивать навыки профессиональных медиаторов между уязвимыми людьми и техническими системами. Специалист по этике Эйми ван Винсберге утверждала, что в применении робота отражается определенное представление о той или иной практике – в данном случае практике ухода. Во многих ситуациях «человеческое прикосновение, зрительный контакт, присутствие человека» – вот что играет ключевую роль в уходе. Если робот способен поддерживать подобные контакты, он может стать положительной частью проекта, ориентированного на ценности[175].
В развитых системах медицинского ухода это уже в полной мере учитывается. В Нидерландах был снят документальный фильм «Алиса заботится» об эксперименте с применением робота-компаньона, который дополняет посещения домашней сиделки. Контакты в итоге были достаточно позитивными. Одна старая женщина показывала роботу фотоальбомы, другая смотрела с ним футбол. Робот может подбадривать, кивать и иногда выражать одобрение или беспокойство. Сиделки дали пожилым людям понять, что робот не будет заменять человеческое общение, что он только подбадривает его. Это и стало условием доверия[176].
Создание доверия является ключевым фактором, учитывая широко распространенные опасения, связанные с применением автономных машин. Согласно опросу «Евробарометра», бо% стран в ЕС запретят роботизированный «уход за детьми, пожилыми людьми и людьми с инвалидностями»[177]. И руководствуются они не просто луддизмом. Развитие автономных роботизированных систем, осуществляющих «уход», может усугубить глубокий социальный разрыв между теми, кому доступен человеческий контакт, и теми, кого отправляют к программам и машинам. Сомнения вызывает то, получают ли они, собственно, в таком случае какой-либо уход. Уход, если противопоставлять его системе внешних форм поведения, которыми он просто изображается, может возникать лишь в контексте взаимоотношений, когда лицо, этот уход осуществляющее, может, по крайней мере теоретически, его прекратить. Именно постоянное подтверждение готовности тратить время и силы на другого человека – вот что делает уход настолько ценным и ограниченным лишь сферой людей как существ, обладающих свободой воли. ИИ и роботы могут помочь с улучшением условий ухода, но саму эту работу они выполнить не в состоянии.
Сохранение человеческого контакта в медицине
О будущем роботов и ИИ в медицине мы можем очень многое узнать благодаря удачам и неудачам другой критически важной технологии, а именно фармацевтики. Ни один разумный доктор не захотел бы вернуться к медицине до появления современных лекарств. Антибиотиками сегодня можно вылечить пневмонию, от которой еще сто лет назад умирали. Однако в случае многих заболеваний спорным остается вопрос о том, какие именно лекарства выписывать, в какой дозировке и на какой срок. С роботами и ИИ похожая ситуация. Некоторые врачи готовы рекомендовать их направо и налево; другие проявляют больше осторожности; и все мы надеемся на то, что более качественный сбор данных позволит объективным наблюдателям отделить надежды от простой шумихи.
Как только мы выходим за пределы простых вопросов безопасности и эффективности автоматики, намечаются более сложные проблемы. Если бы решения о скорости и природе применения ИИ сводились к рыночной логике, дешевые роботы и приложения могли бы быстро стать новыми регуляторами доступа к специальной медицинской помощи или попросту узурпировать роль врачей-людей в работе со многими пациентами. От личного доктора можно было бы отказаться как от роскоши, так же как и от личного портного. С другой стороны, если бы государственные агенты взяли на себя слишком большую роль в управлении автоматизацией, политические соображения могли бы закрепить уже сложившиеся формы неэффективности. Рынок и государство лучше всего уравновешивать тем, что социолог Элиот Фрейдсон назвал «третьей логикой», а именно логикой профессионализма. В профессиях работники со специальными знаниями, предоставляющие наиболее значимые услуги, «имеют возможности организовывать и контролировать свою собственную работу»[178].
Медицина – одна из самых старых профессий, и обоснование ее автономности со временем менялось. Когда медицинское лечение было делом случая, врач считался похожим на прорицателя, которого уважали за некоторое знакомство с неизвестными силами. Благодаря науке медицина стала надежней, тогда как медицинскими комиссиями были разработаны стандарты защиты пациентов от знахарей и шарлатанов. Также были рассмотрены критические вопросы управления рисками медицинских исследований, которые имели гораздо меньшее значение, к примеру, в маркетологических исследованиях. Чтобы решить все эти вопросы, медицине как отдельной профессии приходится использовать свою привилегию (то есть лицензировать или запрещать предоставление ухода и медицинской помощи) ради защиты общества и особенно его наиболее уязвимых слоев.
К несчастью, хитрый маркетинг некоторых приложений психического здоровья способен увести индустрию на совсем другую, не слишком устойчивую траекторию. Потенциальные клиенты могут пользоваться такими приложениями как дешевой и удобной альтернативой посещения терапевта. Это расходится с установкой многих регулирующих ведомств (начиная с бюро лицензирования и заканчивая агентствами по защите прав потребителей), с точки зрения которых приложения – это просто игры, развлечения, информационные сервисы, помощники в здоровом образе жизни, то есть все то, что не затрагивает традиционные обязанности и ответственность терапевтов[179]. Хотя в случае определенных фирм подобный арбитраж силами регулирующих ведомств может работать в качестве краткосрочной юридической стратегии, он подрывает доверие, необходимое для процветания индустрии в целом. Для пациентов также создается риск того, что они последуют некачественным советам. Например, когда исследователи в Австралии изучили 82 мобильных предложения, предлагавшихся на рынке людям, страдающим биполярным расстройством, они обнаружили, что эти приложения «не соответствовали практическим стандартам и принятым принципам самоуправления»[180].
Врачи Адам Сайфу и Виньян Прасад начинают недавно вышедшую книгу шокирующим открытием: «Несмотря на поразительное развитие клинической и хирургической науки, а также геномики, врачи по-прежнему, порой десятилетиями, применяют медицинские практики, которые, как позже было показано, не приносят пользы пациентам»[181]. Прасад сформулировал эту проблему в категориях статистики: «46 % того, что мы [врачи] делаем, неправильно». Конечно, некоторые диагнозы поставить просто, и мы в медицинской системе чаще всего имеем дело именно с ними. Большее количество данных поможет нам находить больше «простых решений» при поиске препаратов и даже автоматизировать его. Но нам еще очень далеко до прочерченной методами ИИ траектории, ведущей к гарантированному снижению смертности и приросту продолжительности жизни.
Собственно, самое важное воздействие ИИ и робототехники на медицину может быть косвенным, то есть определяться развитием за пределами сектора здравоохранения как такового. В последние годы исследователи государственного здравоохранения показали исключительное значение социальных факторов здоровья – питания, режима сна, нагрузки на работе, дохода и богатства. Хотя ИИ может создать больше выгод для всех и потенциально повысить благосостояние за счет своего воздействия во всех этих областях, он с той же легкостью может ускорить нежелательный контроль, социальное разделение и конкуренцию с нулевой суммой. Все эти эффекты могут оказать такое же или даже большее воздействие на продолжительность жизни и благополучие, чем развитие роботов-хирургов или диеты, оптимизированные с применением ИИ.
С точки зрения большинства здоровых людей, врачебное дело представляется простой задачей по распознанию паттернов (диагностики), которое ведет к определенным медицинским процедурам или предписаниям. Идеальный телеврач правильно оценивает все представленные ему данные, настоятельно рекомендует определенный курс, а потом переходит к следующему больному. Если бы все было так просто, роботы со временем и в самом деле могли бы заменить врачей. Но в реальном мире медицинской практики эта картина давно устарела. Во многих обстоятельствах сохраняются неопределенность и сомнения относительно того, какие действия лучше всего предпринять. Современная медицина требует участия – или, по крайней мере, понимания – пациента, который должен соблюдать предложенный план лечения. Такие факторы значительно усложняют и обогащают отношения врача и пациента, в которых существенным оказывается собственно человеческая составляющая. С похожими проблемами, как мы увидим в следующей главе, сталкиваются учителя и учащиеся.
3. За пределами машинного обучения
В 2018 г. в китайских социальных сетях получил распространение хештег #ThankGodIGraduatedAlready (#славабогуЯужеОкончил Школу) вместе с одной пугающей картинкой. На ней были изображены ученики старшего класса с зелеными и красными прямоугольниками, наложенными на лица; в каждом таком прямоугольнике – идентификационный номер и дескриптор, например, «рассеян», «отвечает на вопросы» или «спит». Камера ежедневно и ежесекундно записывала происходящее в классе, создав сотни тысяч фотографий лица каждого из учеников. ИИ сравнивал лица с промаркированными изображениями, исследуя каждое на признаки состояния учащегося. Какие-то сотрудники составили обучающий набор данных с метками, такими как «увлечен» или «отвлечен», «внимателен» или «бездельничает». Когда тысячи учеников оказались под наблюдением, у них не было ни одного момента, когда бы камера их не записывала. В отчетах было подсчитано, сколько времени каждый ученик ежедневно сосредоточен на учебе[182].
Эта система ClassCare, которая должна следить за учениками и мотивировать их, была разработана крупной технологической фирмой Hanwang. Другая фирма, Hikvision, вывела на рынок ИИ, который должен записывать состояние учащихся – довольны они или грустят, злы или удивлены. Также был геймифицирован процесс набора учебных кредитов – на специальных мониторах выводились имена лидеров каждого класса, с которыми ученики могли себя сравнивать. Общешкольное табло поощряло классы бороться друг с другом за лучшее поведение. Любой класс с низким баллом точно знал бы, кто отстает и кто тащит всю группу вниз. Репортер Хуэ Юджие проанализировал эту программу «умного образования» в 2019 г. и отметил, что почти все ученики в сети ее осуждали. Они были просто «раздавлены» и проклинали ИИ вместе с его пристальным оком[183].
Некоторые девочки в школе, за которыми следила система компании Hanwang, жаловались на то, что система распознавания лиц не могла их правильно определить. Если они меняли прическу или макияж, их иногда путали с другими девочками. Школа не раз отправляла их на фотосессии. Другие ученики просто отвергали такие камеры. Один сказал: «Я их все хочу разбить». Даже в стране, привыкшей к массовому надзору, постоянная запись повседневной деятельности вызвала возмущение. Когда Фонд Гейтса помог финансировать когнатную биометрику в США (браслет, измеряющий гальваническую реакцию кожи, которая, считается, показывает увлеченность учащегося процессом обучения), общественная критика заставила фонд отступить. Но неясно, окажет ли широкая критика в Китае то же воздействие. Директор компании Hanwang сказал Хуэ, что основой для разработки системы ClassCare послужил Государственный план развития нового поколения искусственного интеллекта[184].
В то же время в одном из университетов США было смоделировано иное будущее технообразования (edtech). Пройдя курс по искусственному интеллекту в университете Georgia Tech, студенты выяснили, что один из ассистентов преподавателей, им известный лишь по сетевому нику Jill Watson (JW), на самом был деле ботом[185]. Обычно JW задавал студентам вопросы в середине недели и отвечал на их вопросы заранее заготовленными ответами. Предположим, студент просит переписать задание. JW отвечает: «К сожалению, редактировать уже отправленные задания невозможно». JW по почте отвечал быстро, но не слишком быстро, иначе его скорость навела бы студентов на подозрения. На запрос помощи JW обычно отвечал «да» или «хорошо бы» на сетевом форуме. На другие обычные вопросы, о сроках и домашней работе, давались полезные (хотя и несколько легкомысленные) ответы.
Студенты, интервью с которыми было опубликовано в газете, похоже, довольны тем, как применялся JW. Им понравились его корректность и скорость. «Я личных черт в его постах не видел. Но, собственно, их и не ждешь от ассистента преподавателя», – сказал студент, который просил JW помочь ему с домашней работой. Ашок Гоэл, преподаватель компьютерных наук, разработчик JW, заявил, что со временем бот смог ответить на 40 % из примерно 10 тыс. вопросов, которые студенты отправляют за типичный семестр.
Можно ли считать, что это начало конца самой позиции ассистентов преподавателей компьютерных наук или даже самих преподавателей? Гоэл считает, что дело обстоит прямо противоположным образом. Когда на простые вопросы отвечает бот, у ассистентов есть возможность отвечать на более сложные. Фокусируя технологию на рутинных вопросах, Гоэл и его команда ориентируются на гуманистическое ближайшее будущее, в котором программы будут в основном помогать уже имеющимся преподавателям[186].
С другой стороны, каковы бы ни были намерения специалистов по компьютерным наукам, сильные политические и экономические мотивы заставляют такие инновации, как JW, развиваться в другом направлении, в сторону замены учителей и постоянного мониторинга студентов. Джорджия стала одним из многих штатов, в которых после экономического спада сократили финансирование государственного образования. Кризис, вызванный пандемией COVID-19, заставил университеты еще больше сократить расходы и увеличить долю преподавания онлайн. Сильные игроки в образовательной политике, начиная с глобальных фондов и заканчивая верхними эшелонами бюрократии в Вашингтоне или Брюсселе, также ставят перед собой задачу сокращения расходов. Вместо того чтобы поднять налоги для расширения уже существующих университетов, в Калифорнии в 2016 г. была внедрена плохо продуманная система сетевых курсов, которые должны были компенсировать нехватку курсов в колледжах[187]. ИИ (который занят обучением) и роботы (занятые мониторингом тестов) – вероятный следующий шаг, особенно если учесть то, что на таких курсах нужен мониторинг студентов, чтобы они не жульничали и не отвлекались.
В США передовые технологии наблюдения уже задействованы в отслеживании движения глаз и пальцев студентов на сетевых занятиях и сетевом тестировании. В Университете Содружества Виргинии студентов поощряли использовать сканы сетчатки вместо кредитных карт и для оплаты еды в столовой. По мере роста накопленных данных предприниматели надеются начать отслеживать движение студентов и многое другое, чтобы еще лучше соотносить определенные паттерны жизни с желаемыми результатами. Другими словами, машина непрестанного наблюдения, разработанная компанией Hikvision, – это не странное отклонение, представляющее «технологию ябедничества». Скорее она, возможно, предрекает будущее образования в эпоху все более конформистского ИИ.
Грубо говоря, нам надо решить, чего именно мы хотим: инвестировать в образовательный ИИ, который постоянно измеряет и оценивает учащихся, или сосредоточить наши усилия на продуктах, повышающих уровень образования, создавая креативную и способствующую обучению среду. Проблемой, которую следует действительно решать, является ограниченность способности учителя отвечать на вопросы и давать советы; но его небезграничная способность наблюдать и оценивать каждый момент жизни учащегося является, скорее, благословением, ценным аспектом человеческого образования, который необходимо сохранить и в более технологичном будущем. К сожалению, менедже-риальный подход колонизировал значительную часть технообразования, что привело к выпячиванию количественных измерений. Цели образования разнообразны: многие из них нельзя, да и не нужно сводить к количественным оценкам. Если мы позволим ИИ перевести наше внимание с актуального обучения на то, что компьютеры умеют лучше всего измерять и оптимизировать, то упустим крайне важную возможность. Хуже того, мы позволим технологии узурпировать наши ценности и в конечном счете диктовать их, вместо того чтобы служить нам инструментом, помогающим их достигать. В этой главе исследуются позитивные применения ИИ и роботов в образовании, причем упор делается на то, как легко они могут скатиться к жестоким формам социального контроля.
Разнообразие целей образования
Траектория развития образовательной робототехники будет определяться проблемами, которые мы пытаемся решить. Роботы и ИИ – это инструменты, а не самодостаточные цели. Как отметил исследователь Нейл Селвин, споры об объеме и интенсивности автоматизации классов обычно являются «удобным заместителем более пространных дискуссий о природе, форме и функции образования в XXI в.»[188]. Действительно, целями образования могут быть все пункты следующего списка, однако разработчики в области технообразования не преследуют все их в равной степени:
1. Обучение вербальным и математическим/логическим/количественным навыкам и фундаментальные познания в истории, социологии, искусстве, науке и других областях.
2. Подготовка к специальности или карьере путем тренировки навыков или к профессии путем приобретения фундаментальных знаний и критического суждения.
3. Конкуренция за лучшие возможности в обучении и найме.
4. Обучение социальным навыкам и эмоциональному интеллекту.
5. Подготовка к гражданской роли, в том числе к участию в гражданском обществе[189].
Но, с точки зрения менеджеров-технократов, как только цели заданы, следующий шаг – это измерить их достижение путем количественного тестирования или какой-либо иной оценки результатов. Рассмотрим второй тип целей, а именно подготовку к трудовой деятельности. Социологи могут провести всевозможные исследования, в которых определят, какие учебные заведения лучше всего готовят учащихся к работе или поступлению в колледж. Возможность найма и заработки можно измерить, также существуют грубые оценки удовлетворенности работой. В результате появились различные рейтинги колледжей, основанные на определенном комплексе факторов. В некоторых указывались колледжи, не отличающиеся высоким качеством образования. В более серьезных программах изучаются публикации и исследовательские профили членов преподавательского состава. Экономические оценки строятся на соотношении стоимости обучения для студентов и их будущих заработках[190]. Их базовая логика безошибочна: студентам необходимо выбрать программы, которые коррелируют с максимальным приростом потенциального заработка, дисконтируемым по стоимости такого образования.
Этот строго инструментальный взгляд отличается прямолинейностью, а потому в экономическом смысле он весьма привлекателен, особенно если вы рассматриваете рабочую силу в качестве товара, аналогичного соевым бобам или углю, то есть в качестве фактора производства, который в идеальном случае постепенно дешевеет. Так же как прогресс в горном деле может привести к удешевлению угля, технообразование, получается, способно заменить дорогостоящих учителей и преподавателей, чтобы рабочую силу было дешевле готовить, а потому и нанимать. Конечно, сторонники количественных измерений изображают свои намерения в несколько ином свете, заявляя, что они учат студентов тем навыкам, которые действительно нужны им для преуспевания[191]. Однако, когда успех определяется довольно узко – как доход и возможность найма, фокусировка на результатах ведет к радикально иным методам преподавания, начиная с виртуальных кибершкол и заканчивая лекциями на YouTube. Сторонники технологий рассуждают, что, если мы можем договориться о правильных вопросах тестов (для начального и среднего образования), а также о количественных показателях успешности выпускников вузов (для высшего образования), подойдет любой новый метод обучения, если студенты, которые учатся по нему, показывают такие же или даже лучшие результаты, чем аналогичные студенты, обучаемые людьми.
Методы искусственного интеллекта вполне соответствуют неолиберальной идее «учиться ради заработка», поскольку машинное обучение лучше всего умеет оптимизировать определенные количественные величины (такие как доход), основываясь на манипуляции тысячами других переменных. Однако подобная фокусировка на количественных измерениях не работает в области более мягких, то есть контекстуальных навыков, привычек, ценностей и установок. Как составить лучший тест социальных навыков? Где найти многовариантный тест хорошего гражданина, демократического участия или политической мудрости? В определенной мере традиционные методы обучения должны быть
Например, на рабочем месте обычно требуется общаться с коллегами и начальником. Упражнения в классе могут предполагать подобное общение. В одних случаях учащийся может ощущать уверенность в себе и считать себя компетентным; в других для того, чтобы попробовать что-то новое, нужна определенная смелость. В той мере, в какой работа требует определенного взаимодействия людей друг с другом, трудно понять, как все это может быть симулировано технологией.
Ангажирование – не та проблема, которая поддается простому решению. Однажды я спросил выдающегося инженера Google о его опыте сетевого образования. Он сказал, что движение, определившее моду на массовые открытые онлайн-курсы, позволило предоставлять учащимся отличную информацию, однако оно застопорилось, когда возник вопрос мотивации (это наблюдение подтверждалось высоким показателем отсева учеников на таких курсах). Учитывая проблемы машинной манипуляции и нарушения конфиденциальности, вероятно, преподавателям вообще не стоит стремиться к разработке машин, превосходящих людей в способностях мотивировать учащихся. Этот аргумент еще больше относится к демократическому гражданству; ядром сотрудничества в гражданских проектах является проблема человеческих отношений[193].
Энтузиасты технообразования, желающие заменить преподавателей программами, легко забывают об одной из наиболее важных ролей университета в современном обществе – он должен проводить незаинтересованный анализ различных предметов, таких как философия, история, искусство или компьютерные науки. Между серьезным исследованием и качественным образованием всегда возникает синергия, которая позволяет передовым мыслителям понимать историю своей области и передавать эти знания студентам. Если традиционное единство преподавания и исследований развалится, это может порвать связи между созданием знаний и их распространением как секторами университетской деятельности. Для развития истинно увлеченных научных исследований нам нужны исследователи, которые обязаны объяснять значение своей работы студентам и широкой публике, а также некоторая критическая масса преподавательского состава, который делает вклад и в научные знания, а не только передает их студентам.
Простая неолиберальная позиция
История образовательной политики отмечена постоянным конфликтом между традиционалистскими, профессиональными и открытыми или экспериментальными концепциями обучения. С точки зрения традиционалистов, первичная цель образования – познакомить новые поколения с общей (пусть и развивающейся) сокровищницей «лучшего, что было обдумано и сказано»[194]. Прагматические модернизаторы боролись с традиционалистами, делая упор на профессиональной потребности в таком обучении студентов, которое готовило бы к рабочему месту. Бихевиористы поддерживали эту линию практичности, предложив методы зубрежки, благодаря которым учащиеся должны быстро овладевать знаниями. Экспериментаторы выступали против такого подхода. Они говорили, что, учитывая значительную скорость социальных изменений, было бы неразумно делать ставку на какое-то одно знание, которое может преподаваться как традиционными методами, так и путем компьютерной зубрежки в высокотехнологичных классах. Вместо этого надо учить тому, как, собственно, учиться, то есть ключевому навыку, необходимому студентам. Также экспериментаторы признавали значение локальных вариаций в приоритетах и направлениях.
К сожалению, вертикальные «показатели успеваемости» утвердились сегодня среди неолиберальной элиты, принимающей решения. В их понимании образования как «подготовки рабочих кадров» профессиональные идеи сочетаются с бихевиористскими. Такой подход при поддержке ИИ может стать еще более точным и манипулятивным. Один из способов спроектировать идеальную систему образования-вести отсчет от требований работодателей, которые впоследствии будут нанимать студентов. Каждый год свободным остается определенное число рабочих мест в искусстве, дизайне, программировании, менеджменте и десятках других категорий. Выпускники образовательных программ либо находят позиции, либо страдают от безработицы. С этой точки зрения образовательная политика представляет собой всего лишь проблему согласования. Если рабочие места для программистов не заполняются, деканы должны заставить больше студентов специализироваться на информатике или устраивать «учебные лагеря по программированию», где навыкам кодирования могут после выпуска учиться студенты, специализировавшиеся в области английской литературы. В будущем профилирование интеллекта и психометрия позволят сопоставлять людей с позициями, которые более всего соответствуют их навыкам и склонностям. Рекрутеры – искусственные интеллекты уже оценивают людей, подавших заявки, на соответствие «духу фирмы», тогда как резюме сортируются алгоритмическими системами. Под влиянием подобных практик автоматизированного найма учебные заведения могут перестраивать свои курсы и свою деятельность, чтобы давать студентам те навыки и установки, которые более всего соответствуют рабочим местам там, где они понадобятся.
В той мере, в какой руководители индустрий хотят, чтобы работников в будущем понукали роботы или алгоритмы, их, конечно, вполне логично загонять в школы с механическими учебными планами и с хорошо контролируемыми преподавателями, что ведет к роботизации самого преподавательского состава. Эта перспектива может показаться мрачной, но, если судить по словам некоторых непримиримых критиков ведущих образовательных систем, это стало бы лишь естественным завершением худших аспектов развития образования. Например, Никил Гойал утверждал, что стандартизация закрепилась еще в начале XX в., когда фабричный труд и монотонные офисные задачи стали шаблоном для стандартизации учебных классов[195].
Эксперт по образованию Одри Уоттерс исследовала, как бихевиористские парадигмы образования определили «нарратив Кремниевой долины», представляющий распространенную там точку зрения на высшее образование[196]. Она раскопала удивительные документы и проекты начала XX в. Первые американские патенты на «обучающие машины» были выданы более ста лет назад. Сидни Пресси, психолог из государственного университета Огайо, стал известным благодаря разработке в 1924 г. «автоматического учителя»[197]. «Тестирующая машина» Пресси заставляет студентов выбирать один из пяти вариантов, а потом тут же дает реакцию, показывающую, правильно ответил студент или нет (индикатором сзади, который фиксировал число
правильных ответов)[198]. Каждое нажатие кнопки (или ответ) передвигает лист трафаретной бумаги, чтобы перейти к следующему вопросу. В этой машине многовариантные тесты были реализованы по модели Тэйлора, что позволяло освободить учителя от необходимости проверять каждую работу отдельно.
Гарвардский психолог Б. Ф. Скиннер развил бихевиористскую модель машины Пресси. Скиннер прославился развитием психологических моделей таких первопроходцев психологии, как Павлов. Знаменитая собака Павлова училась ассоциировать звук звонка с кормлением, а потому выделяла слюну (и, вероятно, радостно предвкушала еду), когда хозяин звонил в звонок. Скиннер полагал, что тот же механизм стимула и вознаграждения управляет и человеческим поведением. К середине XX в. он убедился в том, что «учитель как простой механизм подкрепления устарел, и это бесспорно»[199]. При работе с его «обучающей машиной» студенты должны были нажимать рычаги, чтобы вводить ответы. В машине зажигалась лампочка, когда регистрировался правильный ответ. Некоторые версии обучающих машин даже выдавали студенту за правильный ответ конфету[200].
Грубость механистического представления Скиннера о процессе обучения у нас может вызвать смех. Тем не менее подобные простые механизмы оказали огромное влияние в несколько иных условиях. Тестирование новостной ленты, поисковые результаты, различные другие аспекты сетевой жизни – все это в конечном счете подчинено бихевиористским моделям. Мало кто в компаниях
Автоматизация образования
Дети, мозг которых только развивается, удивительно адаптивны. Учитывая возможность повсеместного распространения ИИ в будущем, следует ли знакомить детей с ним в самом нежном возрасте? И если да, то как? Сможет ли ИИ когда-нибудь заменить человеческое участие и внимание?
Исследователи из Токийского университета, пытавшиеся ответить на эти и другие вопросы, испытали Саю, удаленного управляемого гуманоидного робота-учителя, который работал в начальной школе и в университете[205]. Сая построена так, что у нее есть анимированное лицо, которое выражает эмоциональные реакции на ответы и поведение студентов. У робота было по меньшей мере семь выражений лица (включая грусть, злость и счастье). Девятнадцать частей лица робота могли двигаться, в частности поднимать брови и щеки, опускать уголки губ и сморщивать нос[206]. Исследователи скоординировали содержание инструкций Саи с выражением ее лица. Например, правильный ответ приветствовался улыбкой; приказу «тихо!» соответствовало выражение недовольства, которым следовало усмирять болтливых и рассеянных учеников.
Исследователи Токийского университета испытали Саю лишь в немногих классах, поэтому сделать общие выводы на основе их результатов сложно. Однако они выявили существенные различия в отношении к роботу между учениками начальной школы и студентами университета. Школьникам было легко увлечься, им было веселее в классе, и они говорили о большем желании изучать науки[207]. Студенты, напротив, высказывались сдержаннее.
Относительная сдержанность студентов предполагает по меньшей мере две интерпретации. Возможно, они считали, что инструктор, управляющий Саей, просто связывается через нее, используя телеприсутствие для того, чтобы снять с себя бремя реального присутствия в классе. После десятилетия общения с преподавателями-людьми топорная мимика и вокализация Саи, возможно, показалась им подделкой. Кроме того, лицо Саи могло оказаться в зоне «зловещей долины». Роботы относятся к одной категории, человек – к другой. Когда же роботы приближаются к облику человека, но все же не сливаются с ним, возникает почти что инстинктивное отвращение.
Можно задаться вопросом, сохранится ли эффект «зловещей долины», если дети с самого раннего возраста будут иметь дело с роботами-учителями или даже роботами-няньками. Вопрос внедрения роботов в образовании не сводится к документированию и настройке актуальных предпочтений людей. Скорее, для него требуется практика формирования будущих тенденций, в которой как можно более раннее знакомство детей с учителями-людьми или роботами выводит их на траекторию формирования подобных предпочтений и на более поздних этапах, даже когда они станут работниками или потребителями. Этот эффект психологического приучения – одна из причин, по которым многие фирмы стремятся разработать образовательную технологию: чем моложе ученик, тем более он податлив и восприимчив, тем с большей вероятностью он будет считать определенные интерфейсы и рекламу «естественным» способом взаимодействия с миром.
Эксперимент с Саей может показаться не слишком впечатляющим. Учитель-робот не был автономным; в определенных отношениях это была всего лишь кукла, которой управлял инструктор-человек. Она провела «занятия» лишь в нескольких классах[208]. Но прогресс в области программирования эмоций мог бы повысить подвижность и восприимчивость роботов, сделав их более эффективными передатчиками знаний или помощниками в обучении. Исследователь образования Нил Селвин назвал свою недавнюю книгу «Должны ли роботы заменить учителей?». Хотя Селвин оценивает широкое распространение учителей-роботов скептически, он выделяет некоторые конкретные примеры, в которых что-то может оказаться лучше, чем ничего, то есть в тех случаях, когда учителя-люди недоступны, может пригодиться образовательная технология[209].
Можно ли представить революцию в начальном образовании, учитывая критическое количество родителей, которые хотят оставить детей дома, чтобы их учил робот-учитель? Это радикальное представление о переменах сталкивается с определенными трудностями, стоит только представить, как оно могло бы осуществиться на практике. В значительной доле семей с детьми школьного возраста работают оба родителя[210]. Но школа – это не только место для обучения, это еще и организация, занятая уходом за детьми, то есть услугой, которая постоянно дорожает. Поэтому роботизация начального образования не обязательно будет означать экономию, раз ученики останутся дома и будут выполнять задания в сети. Скорее, она может привести к переносу ресурсов от одной группы (учителей) к другой (нянькам). Интегрирование «модуля няньки» в образовательных роботах может стать еще одним вариантом, но он создает собственные этические дилеммы[211].
Последовательные футуристы готовы отстаивать роботизированный уход за детьми как дополнение к учителям-роботам. В будущем третьеклассник, возможно, будет получать завтрак от какого-то аналога робота Рози из мультипликационного сериала «Джетсоны», потом его на музыкальные или спортивные мероприятия отвезет беспилотный автомобиль, а в школе он будет рад урокам учителя-робота. Но все это пока дело далекого будущего, которое, возможно, никогда и не сбудется, если учитывать недоверие родителей к постоянной технологизации детства.
Но должны ли родители приветствовать подобный технологический прогресс? Учитывая очевидную уязвимость детей, на этот вопрос, вероятно, надо ответить отрицательно. Если роботы начинают играть роли, которые традиционно исполняли люди, взрослые могут это тут же распознать. Когда же ученики не могут распознать роботизированную сущность учителя, они не просто начинают верить хитрой человекоподобной машине. Скорее, робот в таком случае попросту обманывает детей, заставляя их поверить в то, что внимание им уделяет взрослый[212]. И опасность здесь не только в обмане детей, но и в тонкой идеологической обработке, приучении к тому, что данное и сделанное, человек и машины в каком-то глубинном смысле не различаются, а потому и могут заменять друг друга[213].
Главный вопрос в том, как сбалансировать здоровый энтузиазм или даже любовь к роботам с трезвым пониманием их инаковости[214]. Робот способен наблюдать поведение в своей среде и формулировать реакции на это поведение, однако в своем опыте такое поведение он не может воспринимать в качестве источника смыслов или мотивов так, как на это способны люди. При этом в действиях такого робота всегда будет сохраняться след манипуляций, как бы сильно инженеры ни старались избежать этой проблемы, ведь робот программируется с какими-то определенными, заранее заданными целями. Человек общается с другими людьми как автономными субъектами (со всеми их привилегиями и способностью к добру или злу, к заботе и небрежению, которые вытекают из такого статуса). Тогда как машина, даже запрограммированная на определенные степени свободы, никогда не обладает автономией действующего субъекта, хотя бы потому, что наш опыт агентности укоренен в совершенно иной телесности организмов углеродных и биологических, а не кремниевых и механических[215].
Учеников следует с самого раннего возраста учить тому, что они важнее окружающих их роботов, что эти программируемые инструменты служат им и им полезны. Они должны уважать роботов как свою или чужую собственность, но не следует поощрять их, если они называют их своими друзьями. Роботов и ИИ надо рассматривать в качестве части цифровой среды, которую надо сохранять и «одомашнивать», но без того уважения и любви, с которыми мы относимся к фауне и флоре естественной среды. Эта естественная среда является основанием самого нашего бытия, тогда как роботы и ИИ – это просто инструменты.
От этой фундаментальной реальности нас не должны отвлекать голливудские изображения роботов (которых так часто играют люди), которые эмоционально требуют признания, любви и уважения. Конечно неуважение к гуманоидным роботам или злоупотребление ими вызывает тревогу, поскольку такое поведение может стать источником общей черствости[216]. Однако из такой озабоченности не следует необходимость антропоморфизировать роботизированные системы. Скорее, она требует чрезвычайной осмотрительности в случае внедрения гуманоидных роботов в новых средах, особенно в таких уязвимых группах населения, как дети и пожилые люди.
Поделиться книгой: