Помоги проекту - поделись книгой:
Соотнесение черт лица с криминальными наклонностями может показаться довольно экзотическим или необычным применением ИИ. Однако базовая логика развитых вычислительных решений остается непроницаемой для обычных форм объяснения. Некоторые специалисты по робототехнике превозносят такую необъяснимость, представляя ее в качестве альтернативы человеческому интеллекту, выходящей далеко за его пределы. «В какой-то момент это все равно что объяснять Шекспира собаке», – заметил Ход Липсон из Колумбийского университета, когда его попросили оценить необходимость потребовать от ИИ большей прозрачности[51]. Если речь идет об уничтожении раковых клеток или предсказании погоды, Липсон, возможно, в чем-то и прав: нам не нужно понимать точный механизм ИИ, чтобы дать ему возможность решать наши проблемы. Но когда дело касается важных человеческих решений, необъяснимое становится неприемлемым. Как показывает постепенно складывающееся в ЕС «право на объяснение», необъяснимое может быть ограничено и заменено более гуманным подходом.
Некоторые крупнейшие сражения вокруг роботов и ИИ будут сосредоточены на аналитической силе машин. Какие данные им позволено собирать и применять? И как такие данные будут обрабатываться? Эти вопросы жизненно важны для будущего демократии и коммуникаций. Подумаем о том, как и когда расцветает дезинформация[52]. Хотя недобросовестная пропаганда давно преследует медиа, автоматизированная в значительной мере публичная сфера дала ей новый толчок, допустив вирусное распространение ложных заявлений и фейков. Некоторые властные структуры уже начали вмешиваться, блокируя распространение разжигания ненависти и лжи. Это первый шаг на пути к восстановлению сетевой публичной сферы, но потребуется намного больше – в частности, журналисты, соблюдающие традиционные нормы своего ремесла, должны будут играть более важную роль.
Киберлибертарианцы будут доказывать, что искусственные интеллекты должны обладать «свободой мысли», подразумевающей обработку любых данных, которые они только могут найти или которые их собственники решат им «скормить». В области чистых вычислений, не связанной с социальными последствиями, это право может соблюдаться. Ради свободы слова можно позволить любую неуважительную речь; программисты могут утвердить подобное право на ввод в программы данных независимо от их социальных последствий. Но как только алгоритмы – и особенно роботы – начинают оказывать определенное воздействие на мир, они должны регулироваться, а программисты должны нести этическую и правовую ответственность за причиненный ими вред[53].
Профессионализм и экспертные знания
Кто должен решать, что включается в такую ответственность? Мягкий и ровный переход потребует старых и в то же время новых форм профессионализма в нескольких ключевых областях. Понятие экспертных знаний обычно указывает на владение определенным корпусом информации, но его реальное применение требует намного большего[54]. Будущее трудовой занятости покажется довольно мрачным тем, кто путает профессиональные обязанности с простым знанием. Способность компьютеров хранить и обрабатывать информацию выросла по экспоненте, и постоянно накапливается все больше данных о том, что люди делают на рабочем месте[55]. Однако профессионализм включает в себя и нечто более сложное – постоянную необходимость решать конфликты ценностей и обязанностей, а также противоречивость описаний фактов[56]. И это имеет большое значение для будущего состояния рынка труда.
Представим, например, что вы едете домой со скоростью сорок пять миль в час по дороге с двумя полосами движения. Впереди, на расстоянии сотни ярдов, вы замечаете группу детей, которые идут домой после школы. Но именно в тот момент, когда вы вот-вот проедете мимо них, встречная фура виляет и выезжает со своей полосы, направляясь вам прямо в лоб. У вас лишь пара секунд, чтобы решить: пожертвовать собой или наехать на детей, чтобы уклониться от грузовика.
Мне хочется думать, что большинство выберет более благородный вариант. По мере развития автоматизации вождения подобные ценности самопожертвования могут быть закодированы непосредственно в транспортные средства[57]. Многие автомобили уже сегодня заметят малыша на дороге, которого может задавить водитель, если в поле его зрения есть слепое пятно. Они даже подают сигнал, когда есть риск столкновения с другими автомобилями. Технически возможно перейти от системы оповещения к остановке, которая будет закодирована на аппаратном уровне[58]. А если это возможно, следовательно, возможно и автоматическое торможение, не позволяющее водителю вильнуть в сторону ради самосохранения, которое будет во вред другим.
Но такое решение можно закодировать и иначе – поставить интересы пассажиров машины выше интересов всех остальных. И хотя я не думаю, что это правильный подход, его правильность для нас сейчас не важна. Главный вопрос в том, как инженеры, регуляторы, маркетологи, а также специалисты по связям с государственными органами и продажам должны работать вместе, определяя такие взаимодействия человека и компьютера, при которых соблюдались бы интересы всех, кого затрагивает автоматизация, но при этом учитывались коммерческие требования. В проектировании, маркетинге и безопасности не так много проблем, которые надо решить всего один раз. По мере развития технологий пользователи адаптируются, рынки меняются и постоянно возникают новые требования.
Медицина как профессия давно сталкивается с подобными дилеммами. Работа врачей никогда не ограничивается лечением болезней, с которыми они имеют дело непосредственно. Врачи, обязанные понимать и отслеживать постоянно меняющиеся риски и возможности, должны не упускать из виду направление развития медицины в целом, учитывая актуальные исследования, которые либо подтверждают, либо ставят под вопрос общепринятые медицинские знания. Рассмотрим такое, на первый взгляд тривиальное, решение – давать пациенту с синуситом антибиотик или нет? Хороший терапевт должен сначала решить, есть ли клинические показания для данного лекарства. Позиции врачей касательно того, насколько сильна их обязанность ограничивать предписания антибиотиков с целью замедления эволюции резистентных бактерий, могут несколько разниться. Они могут учитывать и значение возможных побочных эффектов антибиотиков, таких как весьма опасные инфекционные болезни, вызываемые в некоторых случаях бактерией Clostridium difficile, а также вероятность последствий для пациентов разных типов. Когда пациенты приходят к терапевту, у них есть некоторое представление о подобных вещах, однако они не несут ответственности за правильное решение, и точно так же они не обязаны объединять все субъективные суждения в конкретные рекомендации. Это задача профессионала.
С точки зрения адептов всемогущества больших данных, предсказательной аналитики, алгоритмов и ИИ, «мозги» роботов могут найти путь, чтобы обойти все эти проблемы. Это весьма привлекательное представление, которое обещает быстрое развитие технологии, сопровождаемое ростом уровня жизни. Но является ли оно реалистическим? Даже системы, работающие в чисто цифровой сфере, такие как поисковые алгоритмы, высокочастотный трейдинг и таргетированная реклама, во многих случаях оказывались предвзятыми, нечестными, неточными или неэффективными[59]. Гораздо сложнее собирать информацию в полевых условиях, да и вообще спорно то, что следует измерять в первую очередь. Ставки значительно выше, когда алгоритмические системы переходят на новый уровень, реализуясь в мозгах роботов, которые могут воспринимать свою среду и воздействовать на нее. Существенное значение в таком случае приобретает осмысленный человеческий контроль.
Подобный человеческий контроль необходим не только в таких областях, как медицина с ее историей профессионального самоуправления. Даже в сфере транспорта у профессионалов еще многие десятилетия будут сохраняться критически важные роли. Каким бы быстрым ни был прогресс в техниках роботизированного вождения, фирмы, его развивающие, не могут автоматизировать социальную апробацию дронов-доставщиков, переходных тележек или автомобилей. Как заметил эксперт по праву Брайант Смит, юристы, маркетологи, инженеры-строители и законодатели должны работать сообща, чтобы помочь обществу подготовится к широкому применению подобных технологий[60]. Государствам следует изменить политику обеспечения как в области транспорта, так и инфраструктуры. Локальные сообщества должны принять сложные решения о том, как управлять переходами, поскольку светофоры и дорожные знаки, оптимизированные для водителей-людей, возможно, не будут достаточно хорошо работать для роботизированных транспортных средств, и наоборот. Как отмечает Смит, «необходимо пересмотреть долгосрочные принципы планов землепользования, инфраструктурных проектов, строительных кодексов, ценных бумаг и бюджетов»[61].
Для этого перехода понадобится выполнить большую и многостороннюю работу[62]. Эксперты по безопасности будут моделировать то, создают ли транспортные средства без людей-пассажиров особые риски для критически важной инфраструктуры или для толп. Террористам не нужен самоубийца-подрывник, если можно начинить взрывчаткой беспилотный автомобиль. Эксперты по здравоохранению будут моделировать распространение инфекционных заболеваний в той ситуации, когда в транспортных средствах перевозятся незнакомые друг с другом люди. Законодатели уже мучаются с вопросом о том, следует ли обязать такие транспортные средства возвращать контроль человеку по его запросу или предоставлять контроль полиции, если она его требует[63]. Я использовал в последнем предложении двусмысленный термин «человек», поскольку у нас все еще нет хорошего термина для того, кто находится в полуавтоматическом транспортном средстве. И право, и нормы постепенно определят, что представляет собой подобная идентичность[64].
Ни одно из таких решений не должно приниматься исключительно – или даже в первую очередь – программистами и корпорациями, разрабатывающими алгоритмы беспилотных автомобилей. Для них требуется участие властей и значительно более широкого спектра экспертов, начиная со специалистов по урбанистке и заканчивая регулирующими ведомствами, полицией и адвокатами. Переговоры всех этих заинтересованных сторон, скорее всего, будут длительными, но такова цена демократического, инклюзивного перехода к новой и более качественной технологии. И это только немногие из этических, правовых и социальных составляющих масштабного перехода к беспилотным автомобилям[65].
Тем не менее некоторые футуристы утверждают, что ИИ обходит саму необходимость наличия профессий. По их мнению, если у нас есть достаточный массив данных для обучения, практически любую человеческую функцию можно заменить роботом. В этой книге мы исходим из прямо противоположного взгляда: в той мере, в какой наша повседневная жизнь оформляется ИИ и машинным обучением (которыми часто управляют далекие крупные корпорации), нам нужно больше профессионалов, причем профессионалов более квалифицированных. Это вопрос утверждения и расширения схем образования и лицензирования, которые у нас уже имеются в таких областях, как медицина и право. Также может потребоваться создание новых профессиональных идентичностей в других критически важных секторах, где существенную роль играет широкое участие общества и в то же время экспертные знания.
Два кризиса экспертных знаний
Утверждение человеческих ценностей как формы экспертных знаний у некоторых читателей может вызвать раздражение. В настоящий момент наиболее популярным аргументом против проникновения ИИ в управление рабочими местами и городами является не что иное, как принцип демократии. Критики ИИ утверждают, что технические эксперты в таких областях, как машинное обучение и нейронные сети, недостаточно отличаются друг от друга, чтобы представлять людей, на которых воздействует их технология[66]. Также они слишком далеки от местных сообществ. То же самое можно сказать и о многих других экспертах. Давно известны выдающиеся активисты, которые обличают безразличных врачей и преподавателей, юристов в «башне из слоновой кости» и ученых, далеких от проблем обывателя. Обратив внимание на предсказания экономистов, указывающие на катастрофические последствия Брексита, британский политик Майкл Гоув заявил, что «народу в этой стране эксперты надоели»[67]. Когда это ощущение начинает питать популистские кампании по всему миру, становится заметен все больший разлом между политикой и экспертными знаниями, массовыми движениями и бюрократической компетенцией, народной волей и соображениями элиты.
Комментируя подобные тенденции, социолог Джил Эйал утверждает, что экспертные знания и навыки – способ говорить о «пересечении, оформлении и трении между наукой и технологий, с одной стороны, правом и демократической политикой, с другой»[68]. В управлении с давних пор известно противоречие, проявляющееся, когда бюрократам приходится принимать сложные решения, в которых учитываются и факты, и ценности. Так, повышение или снижение допустимых норм загрязнения – решение, влекущее определенные медицинские следствия (например, повышение заболеваемости раком легких), экономический эффект (в плане доходности предприятий) и даже культурные следствия (например, в плане жизнеспособности шахтерских районов). Эйал сосредоточивается на демократическом вызове чисто технократическому принятию решений на каждом из фронтов.
В этой книге исследуется принципиально иной вызов, брошенный экспертным знаниям, а именно столкновение различных форм экспертизы. Уважаемые экономисты и эксперты в области ИИ утверждали, что их способы познания и упорядочивания мира должны получить приоритет практически во всех областях, в больницах и школах, центральных банках и военных штабах. Немногие из них столь же откровенны, как бывший исполнительный директор некой технологической компании, который заявил одному генералу: «Вы вообще ничего не понимаете в машинном обучении. Если я проведу в вашей палатке один день, я смогу решить большую часть ваших проблем»[69]. Однако общая тема многих книг об автоматизации на базе ИИ и экономическом прорыве такова: методы экономики и информатики – всего лишь первые среди равных, то есть среди других форм экспертных знаний. Они предсказывают (и помогают создавать) мир, в котором ИИ и робототехника быстро заменят человеческий труд, поскольку экономика требует более дешевых методов выполнения работ. С этой точки зрения почти все работники со временем разделят судьбу операторов лифтов и кучеров былых времен, то есть им только и останется, что ждать, когда их заменит кто-нибудь, обладающий подходящими данными, алгоритмами и техникой.
Конечно, есть такие области, где экономика и ИИ крайне важны. Бизнес не может работать, не покрывая издержки; касса самообслуживания сломается, если программа сканера не сможет распознать штрих-код товара. Однако на вопросы о том, должна ли существовать определенная фирма и следует ли заменить роботизированным киоском кассира, лишь экономика и информатика ответить не могут. Решение принимается политиками, сообществами и фирмами, причем на основе сложного комплекса ценностей и требований. Такие ценности и требования невозможно свести к уравнениям эффективности и алгоритмам оптимизации, совершенно отличным и абстрагированным от конкретных сообществ. Скорее они выражаются и согласовываются экспертами-людьми, в рамках современных или будущих профессий способных показать, как скрытые, локальные знания работников и менеджеров выражаются в услугах и практиках, заслуживающих сохранения.
Стремиться к противоположному, то есть к высвобождению коммерческих мотивов и мимикрии роботов, нацеленных на то, чтобы колонизировать, заменить или подчинить себе любую форму человеческого труда, – значит радикально реорганизовать общество. Социолог Уилл Дэвис однажды отметил, что «профессия, требующая права на
Этот подход существенно отличается от позиции многих программистов 1980-х гг., которые стремились свести процесс принятия решений в среде юристов или врачей к древу импликаций «если… то». Например, подобная программа может спрашивать обучаемого врача: «Есть ли у пациента жар? Если есть, спросите его, когда он начался. Если нет, спросите, есть ли у него кашель». Такие системы внушили немалый энтузиазм, однако они оставались громоздкими и неудобными. Оказалось, что систематизировать профессиональное суждение намного сложнее, чем думали исследователи ИИ.
Философ Хьюберт Л. Дрейфус для объяснения того, почему экспертные системы показали столь слабые результаты, разработал специальную теорию неявного знания[72]. Мы знаем больше, чем можем объяснить. Подумайте о том, как сложно было бы свести вашу собственную работу к серии утверждений «если… то». Смог бы компьютер распознавать ситуации, с которыми вы сталкиваетесь ежедневно? Смог бы он с той же скоростью формулировать, оценивать и ранжировать возможные ответы на такие ситуации? И если нет (я подозреваю, что именно такой отрицательный ответ даст большинство моих читателей), трудности описания (профессиональных задач) и перевода (человеческих ситуаций в компьютерный код) позволяют хорошо понять, что у людей и в будущем останется определенная трудовая роль.
Конечно, изменчивость иногда следует сдерживать, а не превозносить. Если одни отоларингологи рекомендуют удаление миндалин 90 % детей, которых лечат, тогда как все остальные – лишь в 15 % случаев или даже реже, это, вероятно, означает наличие серьезных проблем с некомпетентностью или оппортунизмом, которые следует изучить[73]. И все же самостоятельность врачей, указывающая на их право на инновации или на отклонение от общепринятой практики, часто защищается законом и является чем-то желанным, с точки зрения самих пациентов[74]. В обычной медицинской практике слишком много неопределенности, чтобы целиком сводить ее к алгоритмам, которые обычно в шутку называются «поваренной медициной». Пациенты хотят также, чтобы осмотр вел человек, готовый посочувствовать их страданиям и их подбодрить, дабы они быстрее выздоравливали. Точно так же многие родители, вероятно, не захотят, чтобы их детей учил общенациональный учитель, транслируемый по телевидению или радио, и неважно, какого сокращения налогов, выплачиваемых на систему образования, удалось бы при таком подходе достичь. Есть общее понимание того, что прямая связь с человеком, которому ты доверяешь, нечто намного более ценное, чем простая трансляция с участием пусть даже самого квалифицированного человека или робота.
Следовательно, один из способов сгладить демократический кризис экспертных знаний, то есть напряжение, возникающее между безразличными технократами и страстными популистами, – предоставить определенные права местным профессионалам. Мы не хотим, чтобы школьные программы во всех подробностях определялись законодательными собраниями штатов или мультинациональными корпорациями; учителя и профессора с сохраняющимся здравым пониманием того, что важно в их сфере, должны обладать всеми возможностями обогащать и оживлять базовую программу. Достаточно распространить это понимание ценности «личного стиля» на многие другие области, в которых он важен для работников и тех, кому они служат, и у нас будет базовый аргумент против преждевременной автоматизации. Если ИИ и суждено добиться успеха, его, по крайней мере, следует кормить разными данными, исходящими от наблюдателей-людей. «Успех» может вообще определяться как помощь профессионалам, обладающим всеми необходимыми знаниями и достаточно преданными своему делу, чтобы понимать, когда доверяться машине, а когда полагаться на собственное суждение.
Выгода издержек
Технократические представления о быстрой и всеобщей автоматизации порождают странное напряжение в самом центре современной экономической политики. Когда вопрос о технологической безработице поднимается американским Советом консультантов по экономическим проблемам, Всемирным экономическим форумом или Международным валютным фондом, эксперты сухо предупреждают о том, что роботами будут заменены десятки миллионов рабочих мест[75]. Эта дискуссия, сосредоточенная на нас как производителях, окрашена в грустные тона неотвратимости. Похоже, что будет автоматизирована одна область за другой – сперва рутинные задачи, потом более профессиональные, наконец даже работа программистов, когда будет найден «мастер-алгоритм»[76]. Изучение подобной литературы способно создать апокалиптическое настроение. «Роботы готовятся украсть 15 млн рабочих мест» – выстрелила Daily Mail, потрясая исследованием, расхваленным директором Банка Англии Марком Карни[77]. Хотя оценки сокращения числа рабочих мест существенно разнятся, тон экономической литературы не может ввести в заблуждение: любой работник сегодня под угрозой.
В то же время экономисты превозносят удешевление услуг. Модель экономического прогресса в этом случае странно напоминает модель, которая описывается в рассказах об автоматизации. Предполагается, что ведущие компании в области здравоохранения и образования должны учиться на успехе конвейерных линий в промышленном производстве, а также на персонализации в интернете, основанной на сборе данных. Шаблонные и в то же время персонализированные подходы, состоящие в своего рода диалектическом отношении, должны удешевить больницы и школы и в то же время сделать самые лучшие услуги общедоступными[78].
Стоит только соединить дистопию «роботов, которые заберут все рабочие места» с утопией «постоянно дешевеющих услуг», и мы получим раздвоенное представление о нашем экономическом будущем. Рабочее место обречено стать дарвинистским адом, в котором работники подчинены машинам, записывающим каждое их движение для разработки роботизированных копий. Единственное утешение возможно после работы, когда чудеса технологии, как предполагается, приведут к всеобщему удешевлению.
Эта модель несчастных работников и восторженных потребителей не просто внушает опасения, она еще и просто неустойчива. Снижение затрат на рабочую силу само по себе представляется достижением. Если я могу заменить своего дерматолога приложением, а учителей детей – интерактивными игрушками, у меня будет больше денег на другие вещи. То же относится и к общественными услугам: город с полицейскими-роботами или нация с солдатами-дронами может отчислять меньше налогов на их зарплату и на здравоохранение. Однако врачи, учителя, солдаты и полицейские – все они тоже потенциальные покупатели того, что пытаются продать другие. И чем меньше у них денег, тем меньше я могу с них запросить.
Говоря языком классических экономических категорий, главной опасностью оказывается в таком случае дефляция, раскручивающаяся спираль низких заработных плат и цен.
Даже в рамках наиболее эгоистического рассуждения можно сказать, что «издержки» товаров и услуг, которые я несу, не просто убыток для моего благосостояния. Скорее, это способ перераспределения покупательной способности, позволяющий предоставить определенные возможности тем, кто мне помог (создавая то, что я покупаю), чтобы со временем они помогли сами себе (чтобы, возможно, купить то, что произвожу я). Конечно, универсальный базовый доход мог бы в какой-то мере компенсировать снижение покупательной способности тех людей, которых роботы лишают работы. Но нереалистично ожидать того, что перераспределение достигнет результата, аналогичного «пред-распределению», то есть некоторого сбалансированного паттерна экономического вознаграждения. В большинстве демократических стран налоговые обязательства богатейших граждан снижались многие десятилетия[79]. Роботизация вряд ли изменит эту динамику, которая подрывает амбициозные планы по перераспределению богатства.
Если рассматривать экономику как устойчивую экологию трат и сбережений, как способ дробления власти (и ответственности) в части важных услуг, мы сможем лучше понять революцию робототехники. Традиционный анализ издержек и прибылей обычно требует поспешной замены людей машинами, даже если способности машин не дотягивают до стандарта. Чем ниже стоимость услуги, тем выше сравнительные прибыли. Но как только мы начинаем понимать выгоды самих издержек, представляемых как учет усилий и инвестиций в людей, недостатки этого упрощенного дуального представления об экономике становятся яснее. В предпоследней главе мы дополнительно обсудим выгоды издержек программ и курсов, которые рекомендуются в остальной части книги.
План книги
Многие адепты технологий стремятся к быстрой замене людей в областях, где нам не хватает данных и алгоритмов, чтобы эффективно выполнять работу. В то же время политики склоняются к фатализму, привычно жалуясь на то, что регулирующие ведомства и суды не могут поспеть за технологическим прогрессом. В этой книге будет обсуждаться как триумфализм технологического сообщества, так и минимализм политиков и стратегов; задача этого обсуждения в том, чтобы изменить публичное понимание роли государства в культивации технологического развития. Я предлагаю анализ программ развития, демонстрирующий силу нарратива и качественного суждения, управляющих развитием технологий, которые ныне подчинены алгоритмическим методам и количественным метрикам. Основная задача книги – извлечь накопленные знания из многих областей и позиций, чтобы представить их общественности, которая получит возможность ими пользоваться. В идеальном случае книга заложит основания для того, что Алондра Нельсон называет «предсказательным социальным исследованием», призванным оформлять технологическое развитие, а не только реагировать на него[80].
Перевод задач в код – не просто технологическая задача. Скорее, это приглашение определить то, что на самом деле важно в процессе обучения, в медицинском уходе, уходе за душевнобольными, журналистике и множестве других областей. Хотя есть искушение установить во всех этих сферах простые количественные показатели успеха и оптимизировать алгоритмы так, чтобы они им удовлетворяли (методом проб и ошибок, переработки накопленных данных или за счет применения каких-либо иных стратегий); определение того, что считать успехом или неудачей в подобных областях, остается крайне спорным вопросом. Обосновывать решение каким-то одним показателем – значит исключать все остальные. Никто не может «управляться» данными вообще. Некоторые данные имеют значение, но определение того, что считать значимым (а что отвергать в качестве нерепрезентативного), – это вопрос политический.
Среди специалистов по этике, занимающихся проблемами ИИ, возникло определенное противостояние прагматиков (которые работают с небольшими и обозримыми реформами вычислительных систем, призванными снизить их склонность к дискриминационным или иным нечестным суждениям) и футуристов, беспокойство которых вызвано развитием неподконтрольных систем и саморазвивающегося ИИ (который, как они опасаются, вскоре станет «умнее» или, по крайней мере, смертоноснее своих создателей – людей). Прагматики обычно отмахиваются от футуристов, которых преследуют призраки, тогда как футуристы считают, что задачи прагматиков слишком скучны в своей ограниченности. Я полагаю, что каждая из этих двух сторон нуждается в другой. Страшные предсказания футуристов, вполне вероятно, сбудутся, если мы уже сегодня не будем активно требовать прозрачности и подотчетности автоматизированных систем. Но мы вряд ли справимся с этой серьезной задачей, если не сумеем учесть фундаментальные вопросы человеческой природы и свободы, которые ставят футуристы.
Эти вопросы не новы. Например, еще в 1976 г. специалист по компьютерным наукам Джозеф Вейценбаум спрашивал: «Какие человеческие цели и задачи нельзя в должной мере передать компьютерам? Вопрос не в том, можно ли это сделать, а в том, следует ли передавать машине функцию, которая ранее выполнялась человеком»[81]. Однако вопросы: «Могут ли роботы быть лучше людей?» и «Когда люди не должны использовать роботов?» – сами по себе неполны. Почти каждый из нас в своей работе сегодня в определенной мере уже использует автоматизацию, которая начинается с простых инструментов и заканчивается ИИ, заменяющим человека. Более верная формулировка вопросов такова: «Какое социально-техническое сочетание людей и робототехники лучше всего отвечает социальным и индивидуальным задачам, а также ценностям?».
Разбирая ряд кейсов, я дам конкретные ответы на этот вопрос, отстаивая мысль о том, что именно дополнение, а не замена человеческих экспертных знаний искусственным интеллектом позволяет реализовать важные человеческие ценности. В главах 2, 3 и 4 описывается то, как подобный процесс мог бы осуществляться в здравоохранении, образовании и медиа, при этом обсуждение сосредоточено на первом новом законе робототехники, а именно на том, что технология должна дополнять, а не заменять уже существующих профессионалов.
В целом я смотрю на перспективы дополняющей автоматизации в здравоохранении и образовании с оптимизмом. В общем, пациентам и учащимся требуется взаимодействие с человеком[82]. Они понимают, что, какого бы уровня развития не достиг ИИ, крайне важно о его применении консультироваться с экспертами, ежедневно изучающими надежность различных источников знаний. Еще более важно в различных образовательных и медицинских контекстах то, что во взаимодействии всегда присутствует элемент человеческих отношений. Роботизированные системы способны предоставить техническую помощь, оценить суждения, разработать увлекательные и захватывающие способы зубрежки. Возможно, в сельских или неблагополучных областях на них будет спрос как на замену профессионалам, которых там сегодня нет. Но требования в условиях дефицита очень далеки от образцовой программы развития рабочей силы. И особую тревогу они вызывают тогда, когда речь заходит о психиатрическом уходе, необходимом уязвимым группам.
Когда в точке контакта с ИИ присутствует медработник, учитель или врач, которые опосредуют его воздействие, обеспечивают правильный сбор данных, сообщают об ошибках и выполняют другую крайне важную работу, можно предположить существенное снижение вероятности мрачного детерминистического будущего, в котором нас всех толкают и шпыняют безличные машины, заставляющие учиться и заботиться о своем здоровье. У профессиональных работников в области здравоохранения и образования есть строго определенные юридические и этические обязанности перед пациентами и учащимися. Такие стандарты в среде технологий только начинают формироваться. Так, в области медиа и журналистики, которые изучаются в главе 4, для восстановления той публичной сферы, сегодня в значительной степени автоматизированной, потребуются коллективные усилия, которые смогут эту ситуацию исправить.
Когда дело дошло до систем рекламы и рекомендаций, то есть самой основы новых медиа, развитие ИИ было и в самом деле быстрым. Компании вроде Facebook и Google, занятые реорганизацией коммерческой и политической жизни, применяли ИИ для принятия таких решений, за которые раньше отвечали руководители телекомпаний или редакторы газет, но их следствия оказались более мощными. Такие компании сумели изменить читательские и зрительские привычки сотен миллионов людей. Прорывное развитие сильно ударило по газетам и журналистам. Для некоторых уязвимых групп, включая преследуемые меньшинства, его последствия оказались ужасными. Единственный способ остановить эпидемию фейковых новостей, цифровых кампаний по разжиганию ненависти и другого подобного мусора – вернуть в управление сетевыми медиа больше ответственных людей.
Если в главе 4 речь в основном идет о неудачах ИИ в определении ценности новостей, то в главе 5 описываются опасности, возникающие при попытке применять ИИ для оценки людей. Программное обеспечение играет все более значительную роль в найме и увольнении, а также в выдаче кредитов и работе с долгами. Также оно постепенно проникает и в службы безопасности. Я предостерегаю от поспешного внедрения роботов-полицейских и роботов-охранников. Даже предсказательная полиция, то есть чисто программные инициативы под управлением полицейских, оказалась достаточно спорной из-за того, что часто опиралась на старые и искаженные данные. Машины, отправляемые самостоятельно патрулировать районы или разгонять попрошаек, вызывают еще больше беспокойства. Не так много других форм применения ИИ в гражданском праве, которые бы подходили для широкого внедрения уже сегодня. Все они требуют власти машин над людьми, что заставляет принести человеческое достоинство в жертву на алтарь эффективности.
В главе 6 этот вопрос о власти рассматривается на полях сражений, как традиционных, так и сетевых. Споры об автономных системах вооружения приобрели хорошо знакомую структуру. Аболиционисты призывают запретить роботов-убийц, реалисты отвергают этот подход, а реформаторы занимают середину, предлагая регулирование, которое все же не означает полного запрета. Аболиционисты и реформаторы участвуют сегодня в оживленных дискуссиях о ценности подхода каждой из сторон. Однако стратегии двух этих групп со временем можно будет согласовать. Реформаторы признают то, что определенные типы систем вооружений настолько опасны, что их вообще нельзя создавать. Аболиционисты соглашаются с тем, что некоторые оборонные применения автоматизации (особенно в кибервойнах) необходимы для национальной безопасности.
И аболиционисты, и сторонники регулирования достойны уважения в связи с тем, что предпринимают правовые действия, нацеленные на ограничение тактики конфликта. Однако их старания могут быть подорваны динамикой гонки вооружений, которую одновременно признают и продвигают реалисты. Повсеместность автономных систем оружия летального действия имеет значение, будучи производной от объема инвестиций ведущих держав в кибервойны, солдат-роботов и другие вооружения с применением ИИ. Для сокращения таких инвестиций, которое является ключевым следствием третьего нового закона робототехники, описанного мной выше, гражданам и лидерам потребуется ввести ограничения на право государств осуществлять военное вмешательство.
Предлагаемые мной реформы окажутся довольно дорогостоящими. Однако расходы можно во многом считать решением вопросов, поставленных роботизацией военной силы, которая является проблемой государственных финансов. В главе б доказывается, что государства, вынужденные наращивать качество (и доступность) устойчивых секторов здравоохранения и образования, вряд ли будут иметь ресурсы для автоматизации военной силы, в отличие от тех государств, которые подобными обязательствами не скованы. По сути, новая, более привлекательная глобальная политическая экономия – единственный способ избежать трагического разбазаривания ресурсов на гонку роботизированных средств разведки и контрразведки, применения сил и противодействия им.
В главе 7 представлена карта основных черт новой политической экономии автоматизации, включая фискальную и монетарную политику. И та и другая должны быть скорректированы так, чтобы можно было развивать ИИ, ориентированный на человека. Сейчас больше всего обсуждаются предложения по универсальному базовому доходу. Когда пределы программ перераспределения станут яснее, гарантии универсальных базовых услуг и рабочих мест станут еще более важными. Эти программы нацелены не только на гарантию выживания, но также и на обеспечение демократического управления экономикой в целом. Ими исправляются многие другие программы, в которых приоритет отдается накоплению капитала, а не труду, а также замене людей машинами.
Конечно, имеющиеся данные не позволяют предсказать, какая именно концепция робототехники обязательно сбудется – концепция замещения или дополнения. Скорее, обе концепции зависят от более общего понимания природы и цели человеческого труда и технологии. Такие представления указывают на определенную интерпретацию не только экономической реальности, но также культуры робототехники и занятости. В последней главе исследуются вопросы культуры, а также те истории, которые мы обычно рассказываем об ИИ и робототехнике. Подобные нарративы в лучших своих примерах являются не просто симптомами тревоги или устремлений, но и источниками мудрости.
Мы можем поддерживать культуру устойчивости, а не прорывного развития, дополнения людей, а не их замены. Мы можем достичь мира, управляемого людьми, а не машинами, и такой мир нам и правда по карману. Будущее робототехники может быть инклюзивным и демократическим, отражающим стремления и надежды всех людей. И на пути к этому обществу мы можем руководствоваться новыми законами робототехники.
2. Лечение людей
В медицине есть две мечты. Первая, утопическая, берет начало непосредственно в научно-фантастических романах. Роботы-медработники будут диагностировать и мгновенно лечить любую болезнь. Наноботы будут патрулировать наши вены и артерии, разбивая тромбы и чиня поврежденные ткани. Распечатанные на трехмерных принтерах органы, кости и кожа позволят нам сохранять молодость до восьмидесяти и девяноста лет. А если повезет, то и мозг можно будет загружать в компьютер для постоянного хранения, так что роботизированные тела можно будет использовать в качестве оболочки для неразрушимых разумов[83].
Каковы бы ни были долгосрочные преимущества этой научно-фантастической картины, до нее еще очень и очень далеко, да и вообще неясно, сбудется ли она когда-нибудь. Более реалистичные медицинские футуристы тоже вполне амбициозны, однако они предлагают картины будущего подоступнее. Они признают ключевую роль человеческой эмпатии в медицинском уходе, значение человеческой интуиции в диагностике и гибкость рук хирурга. В целом они соглашаются с первым законом робототехники, обосновывающим будущее, в котором ИИ преимущественно помогает врачам и медсестрам (а не замещает их). И это вполне разумно, если придерживаться реалистической оценки современного состояния технологии и данных[84].
К несчастью, даже многие реалисты часто теряются, когда дело доходит до программ развития и до права. На системы медицинского обеспечения они смотрят в основном с экономической точки зрения, сетуя на расходы и неэффективность. Они отстаивают дерегулирование, которое должно подстегнуть инновации, и ограничение бюджета, которое вынудит сокращать расходы. Но на самом деле в программах развития медицинских технологий нам нужно больше, а не меньше ответственности в сборе и применении более качественных данных. Нам следует инвестировать в передовые медицинские практики, а не просто предполагать, что больницы и врачи будут постоянно придумывать новые хитрые способы делать больше, а тратить меньше[85].
Фантасты мечтают о тех временах, когда приложения и роботы возьмут на себя все наши медицинские заботы. Но основная линия медицинского развития сейчас ведет не в этом направлении, и стратеги вместе с политиками не должны пытаться представить это воображаемое направление в качестве ориентира. Задачи медицинского обеспечения, как и психологический стресс, связанный с заболеванием, указывают на необходимость присутствия человека в практике медицинской автоматизации. И если экономические императивы заставят больницы и страховщиков заменять программами врачей, а ботами – медперсонал, профессиональные ассоциации должны приложить все силы, чтобы соображения об издержках были уравновешены многими преимуществами прямого участия человека в терапевтическом процессе.
Решение об обращении за медицинской помощью
Представьте, что вы проснулись с острой болью в животе. Что это – аппендицит? Кровотечение? Растяжение мускулатуры? Боль в животе – один из самых сложных для диагностики симптомов, который не всегда могут правильно квалифицировать даже опытные врачи скорой помощи. Острая боль в брюшной полости может возникать при десятках разных заболеваний, начиная с тривиальных и заканчивая опасными для жизни[86]. Даже небольшой риск катастрофического исхода должен стать причиной для незамедлительного посещения больницы, где можно получить профессиональную консультацию.
Богатым или людям с хорошей страховкой принять решение, возможно, просто. Но для остальных обращение за помощью может обернуться разорением. В развивающихся странах счета за медицинские услуги порой лишают семьи возможности удовлетворить даже самые базовые нужды[87]. В США миллионы людей не имеют страховки или имеют недостаточную страховку. Одно-единственное посещение отделения неотложной помощи может обернуться расходами в размере более 10 тыс. долл.; ложная тревога тоже способна привести к многотысячным расходам, накапливающимся после проведения анализов, посещения терапевта и других трат. Даже для людей с достаточной страховкой и немалыми финансовыми ресурсами посещение больницы может означать риск ненужных тестов, столкновения с вирусами и многочасовых неудобств.
Поэтому многие первым делом ищут свои внезапно возникшие симптомы в Google. И много лет Google рассматривал медицинские запросы – которые люди задавали, в частности, из-за внезапной боли, возникшей посреди ночи, – как практически любые другие запросы. Поэтому сайты с сомнительной репутацией, если только у них достаточно «сока Google» (таинственной смеси релевантности и авторитета, которая позволяет тому или иному контенту оказаться в верхней части поисковых результатов), могли попадаться среди информации от уважаемых врачей и медицинских заведений. Отделять зерна от плевел должны были сами пользователи Google, определяя, стоит ли доверять таким сайтам.
Однако в 2016 г. компания изменила подход[88]. В сотрудничестве с экспертами из Mayo Clinic она решила проверять информацию, которая выводится при обычных запросах, связанных со здоровьем[89].
Введите, например, запрос «головная боль с одной стороны головы», и выше или рядом со стандартным списком поисковых результатов появится несколько блоков, в каждом из которых вкратце описывается возможная причина головной боли. Выберите один из них (например, «головная боль напряжения»), и вы увидите другой блок, опять же от самой компании Google. В нем вкратце описывается распространенность заболевания, его частотность в различных возрастных группах, а также типы медицинского вмешательства, которые могут понадобиться.
Эти новые результаты Google – ободряющий знак того, как может работать искусственный интеллект в здравоохранении. Они говорят не о том, что компания свято верит в замену экспертных знаний врачей большими данными и алгоритмами. Скорее, профессионалов приглашают специально, чтобы разрабатывать структурные подходы к медицинской информации и самой системе медицинской помощи. Подобным образом компания IBM стала иначе представлять свою систему Watson на рынке здравоохранения и права – больше в качестве помощника, а не замены врачам[90]. Когда я разговаривал с представителем команды разработчиков Watson в IMB в 2017 г., он сказал, что они отстаивают позицию усиленного, а не искусственного интеллекта. Если подход усиления интеллекта защищают даже те фирмы, которые могли бы выиграть от ИИ больше остальных, значит, мечта о полностью автоматизированных средствах диагностики является скорее анахронистической, чем футуристической. Всегда будет место для экспертов-профессионалов, которые должны будут оценивать точность советов искусственного интеллекта, как и его работу в реальном мире.
Базовые компетенции ИИ: недопущение обычных ошибок
Врачи – эксперты по распознанию паттернов. Мы ждем того, что дерматолог скажет нам, какая это родинка – злокачественная или обычная; мы терпим колоноскопию для того, чтобы гастроэнтеролог получил возможность заметить (и удалить) полипы. Но даже лучшие врачи могут допускать ошибки, а обычные терапевты порой устают или могут в ключевой момент отвлечься. Благодаря ИИ мы можем существенно снизить число таких ошибок и тем самым спасти тысячи жизней в год.
Такой метод зависит от массового накопления данных. В базе данных могут храниться размеченные изображения миллионов различных аномалий, которые со временем становятся раком, а также миллионы доброкачественных новообразований. Так же как Google, который сопоставляет сайты с запросом, компьютер может быстро сравнить изображения вашего кишечника или кожи с теми, что хранятся в базе данных. В идеальном случае машина обучается определять «злых цифровых двойников», то есть ткань, которая в прошлом уже становилась опасной и при этом подозрительно похожа на вашу[91].
Такое машинное зрение, выявляющее опасность в том случае, когда ее может не заметить даже опытный специалист, существенно отличается от нашего собственного зрения. Для понимания машинного обучения, о котором мы в этой книге будем говорить не раз, стоит рассмотреть успехи современного компьютерного зрения в области распознания лиц или чисел. Когда программа распознания лиц успешно идентифицирует изображение в качестве фотографии данного человека, она сопоставляет паттерны изображения с теми, что хранятся в базе данных, например, в растре 1000 на 1000 пикселов. Каждая клетка в растре может быть идентифицирована как участок кожи или какой-то другой участок, который определяется по тысячам параметров (таким как гладкость), незаметных для человеческого глаза. Сегодня доступен даже более высокий уровень чувствительности. Медицинские изображения способны кодировать данные на таком пиксельном или воксельном (воксел – трехмерный пиксел) уровне, который позволяет картографировать то, что чувствуют наши руки, нос и уши, – и даже намного больше.
Распознание паттернов на базе машинного зрения сначала стало успешно применяться в банках, когда понадобилось найти способ распознавать цифры на чеках (учитывая огромное разнообразие человеческих почерков). При наличии достаточного числа примеров почерка и вычислительных мощностей это распознание стало почти совершенным. Таким образом, во многих отношениях машинное зрение является «сверхчеловеческим», если оценивать его в категориях обработки данных и сравнения этих данных с миллионами других изображений. Дерматолог может использовать ту или иную эвристику для диагностики меланомы (например, пользуясь приемом ABCDE, то есть оценивая «асимметрию» (А), границы (В), которые могут быть неправильными, цвет (С), который бывает разным, диаметр (D) и развитие (Е)), а также опираясь на свой опыт знакомства со злокачественными и доброкачественными родинками. Достаточно развитый ИИ может проверить все эти параметры ABCDE, достаточно точно сопоставив данную родинку с тысячами других, если только его данные точны. Более того, по мере развития сенсоров ИИ сможет находить неожиданные факторы, определяющие отличие злокачественных родинок от доброкачественных.
Но у машинного зрения есть и «недочеловеческие» качества, что может выражаться в его удивительной ненадежности[92]. Большинство его приложений в медицине сегодня являются узкоспециализированными ИИ, сосредоточенными только на определенной задаче. Например, такой ИИ, выявляющий полипы, может «увидеть» проблемный полип, который не заметит гастроэнтеролог, но при этом он, возможно, окажется неспособным распознать другие отклонения, определять которые не учился. Поэтому совместная работа программы ИИ и врача в диагностике ценнее работы каждого из них по отдельности[93].
Врачи учатся годами, однако медицинское знание постоянно развивается. Сегодня человек не в состоянии запомнить все возможные взаимодействия лекарств, особенно в сложных случаях, когда пациент может принимать двадцать и более препаратов. Определенную роль в предотвращении негативных результатов могут сыграть фармацевты, но и они могут просмотреть необычные проблемы[94]. Системы поддержки принятия клинических решений (СППКР (clinical decision support software, CDSS)), встраиваемые в медицинские картотеки, – это ранняя форма ИИ, способного помочь врачам предотвратить фатальные результаты[95]. СППКР «занимается мониторингом и предупреждает врачей о состояниях пациентов, предписаниях и лечении, предоставляя основанные на научных данных клинические советы»[96]. Уже сегодня есть данные, говорящие о том, что СППКР снижает количество ошибок[97]. Однако даже в этой относительно простой области предоставления информации программисты, управленцы и инженеры не просто навязали применение СППКР в медицинской практике. Существенную роль в распространении таких систем сыграло право, в том числе государственные субсидии, выделенные на их поддержку. Угроза исков по врачебным ошибкам или корпоративной ответственности больниц склоняет к внедрению СППКР; но также суды признали, что профессиональное суждение невозможно автоматизировать, поэтому они не готовы рассматривать несоблюдение совета машины в качестве автоматического повода для возбуждения дела, если были веские причины не учитывать рекомендации СППКР[98].
Постоянное регулирование станет критически важным для гарантии того, что передовые технологии действительно приносят пациентам пользу, не отягощая врачей и медперсонал избыточной информацией. Многие авторы писали о проблеме «усталости от оповещений»[99]. Эксперты по взаимодействию человека и компьютера работают над достижением более устойчивого равновесия между оповещениями и более точными отчетами о потенциальных проблемах. Идеальное программное обеспечение СППКР не должно перегружать информацией, но в то же время не быть и молчаливым наблюдателем врачей-практиков. Свое обещание оно может выполнить только в том случае, если его сообщения будут постоянно калиброваться, чтобы врачи, медперсонал и фармацевты были действительно заинтересованы в его применении и имели все возможности критиковать его и совершенствовать.
Данные, дискриминация и неравенство в медицинском обеспечении
ИИ, результаты которого одобрены человеком, может стать стандартом медицинских услуг, то есть тем, что должно предоставляться каждому пациенту, обратившемуся за помощью[100]. Однако то, что определенная технология в целом лучше, еще не означает, что она оптимальна во всех случаях[101]. В самом деле, ИИ, если он работает на основе ошибочных данных, может легко заниматься дискриминацией. Хорошо известный «рейтинг риска» (используемый для таргетирования помощи пациентам с определенными нуждами) отдавал приоритет белым пациентам, а не черным, поскольку стоимость врачебной помощи использовалась в нем в качестве показателя серьезности заболевания. Афроамериканцы обычно получали менее дорогостоящую медпомощь, поэтому алгоритм считал, что они нуждаются в медицинском внимании меньше, чем они нуждались на самом деле. Опасности таких условных оценок должны быть хорошо известны, но в стремлении к квантификации риски часто игнорируются или недооцениваются[102].
Также диагностический ИИ может «заражаться» теми или иными предубеждениями. Врачи и специалисты по компьютерным наукам уже обеспокоены тем, что выявляющее меланому программное обеспечение будет хуже работать с меньшинствами, которые в тренировочных наборах данных обычно представлены малочисленнее[103]. Если этот разрыв действительно скажется, у правовой системы возникнет проблема: можно ли будет поднять стандарт выявления больной кожи в целом до того уровня, который достигнут такими системами для основной этнической группы? Регуляторам нужно гарантировать доступность и применение более репрезентативных данных. В противном случае они могут закрепить уже существующее неравенство в предоставлении медицинской помощи.
Если регулирующие ведомства не смогут исправить эту ситуацию, судам понадобится решать, когда для данного проекта (такого, как выявление меланомы) необходимы дополнительные данные, а когда их просто «неплохо иметь» тем, кто способен купить медицинские услуги высшего уровня. Право, регулирующее врачебную ответственность, стремится дать пациентам гарантию того, что, если их врач не удовлетворяет стандарту медицинской помощи, к нему будет применено наказание, причем часть штрафа должна пойти на реабилитацию пациента[104]. Если поставщикам услуг не удается применять достаточно репрезентативные наборы данных для разработки своих медицинских ИИ, судебные иски помогут вменить им в ответственность, чтобы каждый сумел воспользоваться ИИ в области здравоохранения (а не только те счастливчики, которые принадлежат к наиболее изученным группам).
Специалисты по данным иногда шутят, что ИИ – это просто хорошо разрекламированная форма статистики. Конечно, ИИ, спроектированный только для выдачи строго определенных предсказаний, основан на квантификации вероятности[105]. Он представляет собой лишь один из многих шагов, сделанных за два последних десятилетия для модернизации медицины на основе обширного комплекса научных данных[106]. Исследователи-медики ухватились за предсказательную аналитику, большие данные, искусственный интеллект, машинное и глубокое обучение, которые стали главными метафорами оптимизации эффективности систем. Работы в каждой из этих областей способны помочь регулирующим ведомствам выделять проблемные данные ИИ. Кроме того, критика ограничений самого ИИ (в том числе недостаточной воспроизводимости результатов, слабой валидности, чрезмерных притязаний и непрозрачных данных) также должна определять правовые стандарты[107]. Основная идея здесь в том, что ключевая компетенция ИИ – предотвращение человеческих ошибок – теперь должна применяться и к тем людям, которые создают ИИ. Они обязаны нести ответственность, если не используют правильные данные и методы. В противном случае мы так и будем повторять ошибки в будущем, которое должно быть от них свободно.
Сегодня активисты разоблачают многие проблематичные наборы медицинских данных. Так, Кэролайн Криадо Перес доказала, что в многочисленных медицинских исследованиях и учебных материалах объектом исследования по умолчанию считается мужчина[108]. Она замечает: «Женщины – это не просто маленькие мужчины: тела мужчины и женщины отличаются даже на клеточном уровне… [однако] пока сохраняется серьезный гендерный разрыв в данных, который требуется заполнить»[109]. Перекосы в наборах данных становятся еще более непростительными, когда благодаря таким работам, как исследования Криадо Перес, они оказываются общеизвестными. Нам необходимо финансировать намного более качественный сбор данных, гарантируя применение в медицине честного и инклюзивного ИИ и заставляя разработчиков, врачей и больницы его использовать.
Четыре всадника безответственности
Благодаря давно начавшимся кампаниям по ограничению ответственности утвердилось общее сопротивление подобным обязанностям. При этом ИИ создает новые препоны отчетности, и не только в медицине. Футуристы анализируют ИИ, который действует по своему собственному разумению, без контроля со стороны разработчиков (или каких-то других людей). Проблема в том, как создатели или собственники столь многоцелевой технологии могут предсказать все возможные правовые проблемы, которые их ИИ может породить или с которыми он может столкнуться? Никто же не считает компанию Microsoft ответственной за письма с требованием выкупа, написанные в документе MS Word, который сам по себе является чистой доской. Также родители не отвечают за преступления своих совершеннолетних детей, являющихся независимыми личностями.
Когда ведущие разработчики ИИ утверждают, что не отвечают за свои творения, они пользуются метафорами одновременно «чистой доски» и «независимой личности». Но если учитывать десятилетнее исследование алгоритмической подотчетности, ни то, ни другое оправдание не может стать для таких фирм отговоркой. Сегодня нам известно, что алгоритмы могут повредить людям[110]. Более того, юристы сражались с проблемой ошибочных действий компьютеров десятилетиями, по крайней мере со времен сбоев автопилота в 1950-х гг. и ошибок аппарата лучевой терапии Therac-25 в 1980-х гг. (когда сбой в программе вызвал фатальную передозировку радиации)[111].
Тем не менее некоторые предложения могут существенно снизить роль судов в сфере ИИ, не позволяя им играть традиционную роль в определении виновных в халатности. Другие могут ударить по федеральным агентствам-регуляторам, оставляя судьям задачу определения компенсаций, соответствующих конкретным несчастным случаям. Даже если подобные правовые «реформы» так и не будут проведены, фирмы способны ограничивать свою ответственность или перекладывать ее благодаря недобросовестным условиям обслуживания, с которыми пользователи, подписывая контракты, «соглашаются». В конечном счете радикальные защитники свободы слова утверждают, что ИИ просто «говорит» о людях определенные вещи, а не делает им что-либо, и потому это случай свободы слова, защищенной от судебного преследования. Защитники этих четырех всадников безответственности-общего упреждения, радикального дерегулирования, широких оправдательных условий в договорах и оппортунистической апологии свободы слова – доказывают, что ИИ будет быстро развиваться только в том случае, если изобретатели и инвесторы будут свободны от угрозы судебного преследования.
Политики и стратеги, завороженные обещанием инноваций, возможно, хотели бы отбросить местные законы, чтобы предложить лидерам индустрии простую и совершенно понятную картину их юридических обязательств[112]. Или они могут пользователям ИИ «дать право» отказываться от прав на судебное преследование. Это не что иное, как извращенный пример контрактной суверенности: мое право отказаться от моих прав будто бы повышает мою автономию. Менее противоречивое утилитарное обоснование состоит в том, что гражданам нужно отказаться от определенных прав, чтобы ИИ мог по-настоящему успешно развиваться.
Даже если защита от ответственности и в самом деле нужна для пришпоривания определенных инноваций, она не может быть абсолютной. Как отметила Венди Вагнер, гражданское судопроизводство является ключевым моментом предоставления информации, которая может быть недоступной регуляторам[113]. Когда меры регулирования согласовываются на международном или национальном уровнях, возможность развивать собственные стандарты приемлемого риска, который несут новые технологии, должна быть предоставлена также и большему числу локальных организаций и ведомств[114]. По мере развития точечного и ситуативного судопроизводства и регулирования представители более высокой инстанции получают ресурсы и время, необходимые для картографирования более общих трендов технологического развития и для запроса мнения экспертов. Например, американский Национальный комитет по статистике здравоохранения и актов гражданского состояния (с которым я подписал четырехлетний рабочий контракт в 2019 г.) предлагает политикам и стратегам экспертные консультации, связанные с тем, как оптимально собирать, анализировать и применять данные. Эти консультации играют критическую роль, поскольку в хорошо организованных обществах регуляторы участвуют в определении развития технологии (а не только реагируют на нее, когда она уже создана)[115].
Кроме того, суды и законодательные органы должны с осторожностью относиться к оправдательным условиям договоров, ограничивая число случаев, когда потребители могут от своих прав отказаться. Часто судьи не желали признавать подобные условия в медицинском контексте, полагая, что пациенты уязвимы и что им недостает информации, необходимой для действительно информированного решения[116]. Мы все находимся в похожей позиции уязвимости, когда дело доходит до большинства роботов и ИИ, поскольку мы почти никогда не разбираемся в данных и кодах, которые за ними скрываются. Даже в тех случаях, когда оправдательные пункты договоров допускаются, у судей все равно остается важная роль в решении тяжб о несправедливых условиях договора[117]. Существуют также определенные типы оснований для предъявления иска, которые должны быть сохранены, на какие бы условия стороны договора ни были готовы согласиться.
Чтобы оценивать риски ответственно, и поставщикам, и потребителям нужна точная информация о данных, используемых в ИИ (входных данных), а также данные об эффективности (выходные данные). Никому нельзя позволять отказываться от своего права на изучение данных, когда ИИ причиняет ущерб[118]. В следующем разделе описывается, как регулирующие ведомства способны помочь повысить качество как входных данных, используемых для инноваций в области ИИ, так и выходных данных подобных технологий.
Кто будет учить обучающуюся систему медицинской помощи?
Раньше мы могли определять меланому как просто разновидность рака кожи. Однако сегодня это определение кажется таким же устаревшим, как отнесение пневмонии, бронхита и сенной лихорадки к одной категории «кашля». Персонализированная медицина поможет большему числу онкологов достичь более тонкого понимания определенного вида рака как, к примеру, определенного числа мутаций. Цифровые записи, если их правильно комбинировать, сравнивать и анализировать, могли бы указать, какие сочетания химиотерапии, радиоиммунотерапии, хирургии и облучения дают наилучший результат в случае данного подтипа рака. Такова главная цель «обучающихся систем медицинской помощи», которые разрабатываются для оптимизации медицинских вмешательств путем сравнения результатов естественных вариации в лечении[119].
Для тех, кто мечтает о «Супер-Уотсоне», который не просто выиграет викторину Jeopardy, но и начнет управлять больницами, все это развитие представляется шагами по направлению к «поваренной медицине», реализованной на машинном уровне. Но кто знает, что нас ждет через сто лет. Пока же важно то, как все эти потоки данных интегрируются, сколько усилий прилагается к достижению этой цели, как относятся к участникам процесса и кто имеет доступ к результатам. Это сложные вопросы, но никто не должен сомневаться в том, что для жонглирования всеми этими данными потребуется квалифицированность и осторожность человека, а также серьезные юридические консультации, если учитывать сложные правила медицинской конфиденциальности и привлечения людей в качестве подопытных[120].
Углубимся в радиологию: визуализация тканей развивается по-настоящему быстро. Мы наблюдали переход от рентгеновских лучей и ультразвука к радионуклидной визуализации и радиомике[121]. Ученые и инженеры разрабатывают все более сложные способы выяснения того, что происходит внутри тела. Уже сегодня существуют миниатюрные камеры-таблетки, проглатываемые пациентом; представьте существенно меньшие версии тех же приборов, которые можно будет впрыскивать в кровеносную систему[122]. Генерируемые таким образом потоки данных намного богаче всего, что у нас было раньше. Для интегрирования их с целью вынесения суждения о том, как скорректировать или полностью изменить схему лечения, потребуется креативное, несистематизи-руемое мышление. Рентгенолог Джеймс Тролл утверждал:
Данные в наших… информационных базах – это «тупые» данные. Обычно они анализируются по одному изображению или факту за раз, и именно индивидуальный пользователь должен интегрировать данные и извлечь из них операционный и концептуальный смысл. Главная задача ближайших
Более полные результаты лабораторных исследований, новые, более качественные формы визуализации, генетический анализ и другие источники – все это надо будет сводить в единую картину состояния пациента и его болезни. Если использовать различие, введенное Саймоном Хедом, оптимизация медицинской реакции на новые объемы и разнообразие данных станет вопросом
Учитывая все доступные ныне потоки данных, можно было бы предположить, что рациональная политика в области здравоохранения должна углубить и расширить профессиональное образование рентгенологов. Но похоже, что в США эта сфера все больше сдвигается к коммодификации[125].
Ирония в том, что за это в изрядной степени отвечают сами же рентгенологи; для того чтобы не работать по ночам, они стали заключать контракты с удаленными «совиными» службами, которые готовы просматривать изображения ночью[126]. Это привело к тому, что изображения стали отдаваться на сторонний анализ и днем, что подтолкнуло обеспокоенные расходами медицинские организации искать наиболее дешевые рентгенологические услуги – даже если оптимальная медицинская практика требовала более тесного консультационного взаимодействия рентгенологов и других членов лечащей бригады, которое позволяет достигать клинических и исследовательских результатов. Государственные компенсационные программы также не смогли в должной мере подержать развитие рентгенографического ИИ[127].
Специалистам по визуализации, сталкивающимся с новыми потоками данных, часто приходится принимать субъективные решения. В настоящее время хорошее частное и социальное страхование покрывает доступность рентгенологов, которые могут решать подобные задачи. Но можно ли представить мир, в котором людей заманивают более дешевыми страховыми планами, чтобы они могли получить «медицинские услуги прошлого года по прошлогодним ценам»? Конечно. Также мы можем представить то, что второй (или третий, четвертый, пятый) уровень медицинских услуг, скорее всего, станет первым, в котором будет практиковаться чисто автоматическая диагностика.
Те, кто находятся на верхнем уровне, будут рады итоговому снижению общих расходов на здравоохранение. Часто именно они являются налоговой базой, необходимой для расходов на незастрахованных людей. Но ни один пациент не является изолированным в обучающейся системе медицинской помощи. Так же как постоянное удешевление производства лекарственных препаратов привело в США к постоянному дефициту стерильных впрыскиваемых лекарств, лишение значительной части населения высокотехнологической медицинской помощи осложнит тем, у кого к ней
Рассмотрим, к примеру, противоречия между традицией и инновацией в законодательстве о врачебной ответственности. Когда что-то идет не так, врачей судят на основе стандарта, который в общем и целом определяется тем, как в то же самое время работают другие врачи. Поэтому вероятность ошибок некоторых врачей пугает, заставляя их придерживаться конформистских и традиционных практик. С другой стороны, угроза судебного преследования может ускорить переход к очевидно более качественной практике. Ни один врач сегодня не может просто прощупать опухоль и сказать, злокачественная она или доброкачественная. Обычно берутся образцы тканей, проводятся консультации с патологами, выполняется экспертный анализ ткани. Если методы ИИ-диагностики станут достаточно развитыми, само их неприменение станет врачебной ошибкой.
С другой стороны, передовая автоматизация может не достичь нужного уровня, если некая третья сторона (государство или страховщики) откажется за нее платить. Страховщики часто пытаются ограничить покрываемый их планами спектр медицинских услуг. Группы, защищающие права пациентов, сражаются за обязательные льготы. Сторонники сокращения бюджета сопротивляются, а когда они добиваются успеха, у систем здравоохранения нет другого варианта действий, кроме как отвергнуть дорогостоящую новую технологию.
Также имеют значение другие схемы регулирования. Медицинские советы определяют минимальный приемлемый уровень опытности врачей. В США центры по обслуживанию Medicare и Medicaid участвуют в определении условий выпуска медицинских специалистов из высших учебных заведений, поддерживаемых субсидиями. При хорошем финансировании они могут сотрудничать с биоинженерами, специалистами по компьютерным наукам и статистиками. При плохом финансировании они будут и дальше производить слишком много врачей, которые ничего не знают о статистике, необходимой для качественного выполнения их актуальных рабочих обязанностей, не говоря уже о критической оценке новых ИИ-технологий[129].
Право – это не просто дополнительный набор препятствий, которые нужно преодолеть, а уж потом инженеры получат свободу и смогут вылечить любые человеческие болезни. Основная причина роста занятости в здравоохранении как отдельном секторе в последнее десятилетие состоит в том, что определенные правовые нормы наделили значительные группы населения покупательной способностью, не зависящей от их богатства или заработной платы. При благоприятном раскладе такие нормы будут направлять развитие систем медицинской помощи в сторону постоянных инноваций и совершенствования.
На кого работает ваше терапевтическое приложение?
Несмотря на все проблемы, поджидающие диагностику рака и других телесных заболеваний методами ИИ, мы можем быть уверены в том, что в этих областях такая технология будет играть значительную и постоянно растущую роль. Врачи и исследователи могут прийти к согласию об оптимальных стандартах эффективности и постепенно усовершенствовать машины, которые смогут распознавать больше заболеваний и выполнять больше процедур. Но проблемы становятся запутаннее, когда от физического мы переходим к психическому здоровью, для которого требуется еще большее участие человека.
Людей, страдающих душевными заболеваниями (как и другие уязвимые группы), часто посылают к автоматическим системам. В Арр Store компании Apple и Android Market Google можно найти множество приложений, которые утверждают, что они помогают улучшить психическое здоровье. Есть приложения для депрессии, тревожности, аддикции и фобий, все они предлагают некий успокоительный или подбодряющий интерфейс, а иногда и не только. Когда такие приложения выписываются терапевтом или другим специалистом, они и в самом деле могут быть полезны. Например, люди, пытающиеся вылечиться от наркотической зависимости, могут при помощи подобных приложений записывать свои пристрастия, связывать возвращение к употреблению наркотиков с определенными триггерами и получать подсказки или советы. Однако когда приложения становятся более автономными и независимыми от экспертов, могут возникнуть серьезные проблемы.
Порой приложения не способны выполнить базовые терапевтические обязанности. Журналисты выяснили, что один ИИ-терапевт не стал предупреждать власти, когда участница его испытаний написала о том, что она ребенок, страдающий от сексуальных домогательств в семье[130]. Квалифицированные специалисты знают об обязанности сообщать о подобных случаях, тогда как технологи, которые учились «быстро решать проблемы», возможно, не имеют о них никакого представления. Появляется все больше непроверенных и даже опасных приложений, которые создают угрозу для здоровья тех, кто нуждается в более компетентной медицинской помощи[131]. Политика обмена данными в таких приложениях часто несовершенна или однобока, а потому могут встречаться нарушения правил конфиденциальности, которых обычно придерживается терапевт[132]. Американское Управление по контролю за качеством пищевых продуктов и медикаментов (FDA) отказалось от своих обязанностей в этой сфере, практически перестав регулировать такие приложения, после нескольких предупреждений от членов Конгресса, которые заявили, что финансирование агентства может быть урезано, если оно станет мешать инновациям. Похоже, ни одна другая инстанция не занимается действительно реальным обеспечением безопасности и эффективности в этой области[133].
Поделиться книгой: