Я спокойно отношусь к тому, что мой маршрут прокладывает GPS, однако в большинстве случаев мне требуется и карта, или карты
Конечно, программе
Если хотите иметь возможность победить компьютер в игре в шахматы, у меня есть для вас простой рецепт: пусть компьютер сам передвигает фигуры на доске. Несмотря на силу шахматных программ, управляемые компьютерами роботы, которые передвигают фигуры на доске, далеко не совершенны. В 2011 г. на промышленной конференции в Сан-Франциско несколько роботов были подвергнуты испытанию на то, насколько хорошо ими запоминается расстановка фигур на доске и делаются соответствующие ходы, определяемые прилагаемыми к роботам шахматными программами. Визуальные системы роботов не так уж и редко ошибались в восприятии ходов, фигур и их расположения, а их руки вследствие этих ошибок — неправильно передвигали фигуры. Усложненная среда, известная также как реальный мир (пусть даже в виде материальной, а не виртуальной шахматной доски),— вещь коварная.
Будем ли мы пытаться изменить среду обитания таким образом, чтобы она в большей степени напоминала шахматную доску, и в меньшей — сложные, вечно закрытые на реконструкцию, многоуровневые транспортные развязки? Вообразите себе мир, который более несуразен, чем мир, в котором мы живем сегодня, поскольку он создан для машин и требует буквального понимания всего, что происходит вокруг. Исключать подобной перспективы не стоит.
Проблема заключается в том, что нам, людям, это буквальное понимание всего может прийтись не по вкусу. Мы зачастую предпочитаем более туманный и подстроенный под нашу индивидуальность мир, в котором мы можем позвонить в кабельную компанию и объяснить проблему бытовым языком. Мы привыкли к тому, что наши мужья и жены говорят нам что-то вроде: «Думаю, тебе надо скоро сворачивать — уже где-то здесь. Как думаешь?» — что может означать одновременно множество вещей, причем в совершенно туманной форме. Когда же мы вынуждены жить с условиях, которым свойственна большая точность — и которые требуют от нас большей точности наших собственных поступков,— нам это может прийтись не по душе. Даже когда новая и более конкретная форма услуг является шагом вперед, у нас все равно может создаться впечатление, что мы лишены самостоятельности или что нас пытаются протащить в трубу меньшего диаметра, чем та, в которую мы могли бы пролезть. Нам хочется кричать: «Оператор!» — чтобы вырваться из этого упорядоченного, насквозь пропитанного буквальностью мира. Мне представляется, что в дальнейшем эта проблема только усугубится.
Система GPS обязательно будет совершенствоваться. Она будет обновляться актуальными данными более оперативным и эффективным образом. Будет способна понимать и сообщать информацию со множеством уточняющих данных. Она может быть дополнена рассылкой электронных сообщений от дорожных служб, как это делается сегодня с помощью электронных табло, только в будущем подобные сообщения будут передаваться по беспроводной связи непосредственно в автомобили.
Растущая распространенность АК-47, самого популярного в мире оружия, позволяет говорить о предпочтительности упорядоченных систем по сравнению с идеальными. Это не самое технологически совершенное оружие и не самое мощное. Его преимущества: простота стрельбы, перезарядки и ремонта. К сожалению, если вручить автомат ребенку, он начнет стрелять из него, не особо задумываясь (что мы и наблюдаем в вооруженных конфликтах по всему земному шару). Подобно автомату Калашникова, программа
Что же касается GPS, то здесь до строгой упорядоченности еще далеко. Разница между принципами управления транспортным средством людьми и машинами будет ликвидирована еще не скоро. И даже если управление автомобилем с помощью системы GPS станет легким и приятным, возрастающее использование умных машин в других сферах нашей жизни может оказаться столь же удручающим, что и использование систем GPS сегодня. В ближайшей, а наверное, и средней перспективе поводов для досады у нас будет еще больше, а возможности выбора в некоторых случаях — меньше. Ваша каждодневная жизнь будет напоминать странную смесь «гораздо, гораздо проще» и «гораздо хуже». Это будет подобно жизни в справочном меню. В целом большинство людей оценят новый уровень удобства, но именно досада отложится в нашей памяти. Люди будут вспоминать о «временах, когда жизнь была проще», хотя именно в будущем она и будет с каждым годом упрощаться.
Некоторые изменения уже вошли в нашу жизнь. Банкомат великолепно справляется со многими из функций банковского кассира. Однако здесь мы вынуждены жертвовать личным вниманием кассира и его способностью ответить на наши вопросы о банковских услугах. Но мы уже к этому привыкли. Гораздо труднее привыкнуть к тому, что банкомат вдруг ни с того ни с сего глотает банковскую карту. Жизнь автомобилистов тоже усложнилась: бензин в бак водитель заливает теперь самостоятельно, поэтому труд человека на заправочных станциях почти не используется; соответственно, теперь на станции мелкую поломку вашего автомобиля уже не устранят. Однако заправить бак стало несравненно легче. Одна из причин того, что мы теперь выполняем работу заправщика, в том, что автомобили стали намного надежнее. А при поломке машины выручит мобильный телефон: достаточно будет позвонить домой, в службу техпомощи или вызвать эвакуатор.
В нашем районе все большее число продовольственных супермаркетов внедряют кассы самообслуживания. В результате время простаивания в очередях сократилось, во всяком случае — для тех, кто способен данными кассами пользоваться. В противном случае время в очереди для вас увеличивается, поскольку кассиров-людей в этих супермаркетах почти не осталось. И спросить, где найти сушеную вишню, теперь тоже почти не у кого.
В долгосрочной перспективе продовольственные товары подешевеют, ведь супермаркетам теперь не надо платить зарплату такому же числу кассиров, как раньше. Однако попробуйте вспомнить на кассе самообслуживания правильное название развесного зеленого перца, чтобы выбрать нужный код... Я даже не в состоянии понять, куда этот код нужно вводить. Неудивительно, если вы теперь вообще перестанете покупать перец. Когда автор этой книги — профессор экономики — делает покупки в подобном супермаркете, он просто не берет товар, который потом нужно взвешивать, название которого требуется вводить и с которым необходимо производить любые другие манипуляции. Он покупает лишь полностью стандартизированные товары, вроде консервированных бобов марки
Как и большинство проблем, о которых я рассказываю, эта проблема когда-нибудь будет решена, и решат ее машины. Мне будет достаточно просто помахать развесным зеленым перцем перед видеокамерой, и этого будет достаточно, чтобы компьютер определил товар автоматически.
По-настоящему удобным взаимодействие с компьютерами будет становиться по мере расширения голосового общения с ними — как в случае с приложением
И ничего более — все легко и просто. Однако не думайте, что все проблемы, связанные со взаимодействием с умными машинами разом устранятся или устранятся в ближайшем будущем. Один из лейтмотивов данной книги — внедрение гениальных машин в наши жизни отличается неравномерностью и шероховатостью. Точно так же, как в случае с компанией
Машинный анализ
Более упорядоченной и в большей мере отвечающей потребностям буквального восприятия станет не только наша физическая и электронная среда. Те же изменения коснутся сотрудников предприятий, а также того, каким образом мы описываем и оцениваем их. В отношении работников будет применяться своеобразная система «бирок», с указанием их сильных и слабых сторон в количественной оценке. Причина этому все та же. Машины делают возможным буквальное и упорядоченное описание работников, а подобные описания в свою очередь способствуют более широкой применимости и производительности машинного анализа. В связи с этим мы будем стараться, чтобы наши рабочие места отвечали потребностям буквального восприятия. Это будет касаться и точного описания качеств работников. Здесь снова оказывается полезной аналогия с шахматами. Любой из нас знает, насколько силен тот или иной шахматист, поскольку у каждого шахматиста есть числовой рейтинг. Эти рейтинги измеряют истинную силу достаточно точно; отговорка, вроде «мне солнце глаза слепило», здесь не пройдет. Шахматные рейтинги способны предсказывать уровень игры шахматиста необычайно точно. Исключение — талантливые молодые игроки, быстро набирающиеся мастерства, или шахматисты, у которых вдруг возникли проблемы со здоровьем. Данные рейтинги используются для целого ряда целей, включая решения, кого именно приглашать на тот или иной престижный турнир и какое вознаграждение тот или иной игрок заслуживает за участие в турнире или выступление с лекцией.
Следует ожидать более широкого распространения подобной практики. Следующим шагом станет наем работников, которые с помощью гениальных машин будут оценивать работу других сотрудников, прежде всего — высококвалифицированных специалистов. Я имею в виду специалистов, от которых в нашей жизни зависит многое — врачей, юристов, преподавателей. И коллег по работе тоже.
Я поинтересовался у Кена Регана, можно ли использовать его исследовательский метод — применение программы для оценки качественных характеристик шахматистов — для оценки деятельности человека в более широком плане. По его мнению, средний рейтинг специалистов по информационным технологиям составил бы 2000 баллов — если сравнивать их с шахматистами. Он предположил, что когнитивные способности среднего человека были бы оценены в 1600-1800 баллов, что соответствует уровню хорошего клубного игрока. Что же касается журналистики, то он оценил уровень среднего журналиста примерно в 1500 баллов. Здесь Кен пошутил, однако затронутая им проблема довольно серьезна.
Машины используются не только для снижения себестоимости товаров и услуг. Они будут использованы и для повышения качества работы специалистов. Рано или поздно мы придем к тому, что подразделениями квалифицированных работников с помощью умных машин будет производиться оценка работы большинства специалистов, особенно высокооплачиваемых. Здесь уместна аналогия с рейтингом предприятий сферы услуг, известным как
Каким образом это может быть применено, скажем, к юристам? Потенциальный клиент сможет запросить с помощью своего смартфона следующую информацию: какой вуз интересующий его юрист заканчивал, его студенческий рейтинг, успехи в его профессиональной карьере. И к информации будет прилагаться сноска: «данная информация объясняет только 27% общего уровня профессионализма интересующего вас специалиста».
Более успешные юристы будут выкладывать в свободный доступ информацию о своей адвокатской деятельности, выигранных и проигранных процессах, анализ касающейся их договорной информации и свои докладные записки, чтобы повысить точность компьютерного анализа своих профессиональных качеств. В итоге вердикт приложения
Многие из менее успешных юристов откажутся от того, чтобы оценкой их рейтинга занималась связка «человек—машина», из опасений получить отрицательную репутацию или потому, что проведение рейтингового анализа будет платным. Это навредит их профессиональным перспективам, особенно привлечению состоятельных и образованных клиентов. Вы обращали внимание на следующую фразу, встречающуюся на странице киноанонсов пятничных газет: «Студия отказалась предоставить этот фильм для просмотра представителями средств массовой информации»? Очевидный вывод, который из этого напрашивается: фильм никчемный, и обычно именно так в этих случаях и оказывается. Студия отказалась предоставить его для просмотра, опасаясь отрицательных отзывов. Некоторые люди все равно идут смотреть подобные фильмы, но, как правило, они об этом отказе не слышали, или это любители примитивных боевиков и фильмов ужасов. Что же касается оценки профессиональных качеств, то рано или поздно большинству специалистов придется согласиться на рейтинговую оценку своей работы, или же они окажутся обреченными работать в менее прибыльном сегменте рынка или с клиентами, не интересующимися рейтинговой репутацией специалиста, к которому обращаются.
Пойдет ли подобное развитие событий на пользу или во вред представителям малообеспеченной категории населения? Плохо здесь то, что порой им будет трудно найти хорошего, но недорогого врача или юриста. Все будут сверяться с публичными рейтингами, и лучшие специалисты будут устанавливать более высокую цену за свои услуги. Однако есть здесь и положительный момент: эти рейтинги повысят конкуренцию между специалистами — как ценовую, так и профессиональную. Если вы — врач, попавший в нижнюю треть рейтинга, вам придется снизить свои расценки, и это пойдет на пользу малообеспеченным клиентам, которые и так вряд ли пользуются услугами лучших врачей. Возможно также и существование такого рейтинга, как врачи с «грубыми манерами». Такие врачи, даже будучи хорошими специалистами, могут оказаться по карману многим, и подобные рейтинги смогут помочь нам найти их и сэкономить деньги. Наконец, малообеспеченные клиенты могут накопить нужную сумму и в случае действительной необходимости воспользоваться услугами отличного юриста или врача вместо того, чтобы платить большие деньги за некачественные услуги, как сегодня зачастую и происходит.
Скорее всего, больше других от наличия профессиональных рейтингов выиграют именно малообеспеченные слои населения. У высокообразованных и состоятельных людей уже есть довольно надежные способы поиска хороших специалистов — им достаточно просто спросить совета у приятеля, сделать пожертвование местному госпиталю или обратиться к такому специалисту из числа своих знакомых. Новая система не уравняет всех со всеми, вне зависимости от уровня платежеспособности, но способна будет предоставить равный доступ к информации, а от этого большинство потребителей только выиграют.
Специалисты могут попытаться манипулировать рейтингами, например соглашаясь лишь на легкие судебные случаи или отказывая пациентам, которые находятся при смерти. Однако расчет рейтингов будет производиться не с учетом всех случаев из практики того или иного специалиста, а скорее всего с учетом тех из них, что соответствуют какому-нибудь стандарту, на основе которого умные машины и смогут проанализировать профессиональные качества сравнительно объективным образом. Часть рейтинга будет строиться программами на основе ограниченных статистических данных, таких как возраст, законченный вуз, показатель коэффициента интеллекта и уровень дохода. Полученные числа вряд ли будут представлять большую практическую ценность, но зато они будут сопровождаться следующим отказом от гарантии качества: «Данным рейтингом объясняется 43% нестабильности в качестве работы данного специалиста». На то, чтобы быть отнесенными к точной науке, данные рейтинги претендовать не могут, зато в полученных цифрах найдет отражение несовершенство систем.
Некоторые специалисты справятся с трудностями, вызванными появлением рейтингов, но многие окажутся деморализованы. Точно так же как после ознакомления с результатами компьютерного анализа шахматные гроссмейстеры уже не кажутся столь мудрыми и всезнающими, так и врачи, юристы и преподаватели могут растерять значительную часть окружающей их ауры. Они будут больше напоминать собой просителей, ожидающих вердикта машин и зачастую предстающих полными недостатков, даже когда речь идет о специалистах верхнего сегмента рынка труда. В итоге мы получим менее самодовольных и высокомерных специалистов. Так, профессионализм большинства врачей, если сравнивать их с лучшими специалистами, в действительности соответствует уровню В, С, а то и ниже — и это станет общеизвестным фактом. Вы уже не будете испытывать перед ними благоговейного трепета, видя в них спасителей жизней, а начнете посматривать на них как на третью скрипку оркестра, протиравшую когда-то лавку во второсортном колледже.
Этот мир станет совсем иным, когда потребитель почувствует себя в положении сильного, а в каких-то аспектах мир этот станет более опасным, поскольку потребители не всегда осознают, что делают. За многие возникающие при лечении проблемы вина ложится на пациентов: они не всегда следуют предписанному распорядку приема лекарств, не выполняют предписанные упражнения, не меняют пищевой рацион и т. д. Одних только слов врача зачастую оказывается недостаточно, и это — в сегодняшнем мире, где врачи пользуются значительным авторитетом. Как только специалисты будут подвергнуты рейтинговой оценке, вполне может получиться, что клиенты и пациенты будут относиться к ним пренебрежительно еще чаще, чем сейчас, и чаще же пренебрегать их советами. Клиент может отказаться признать свою вину на суде, хотя опытный адвокат и будет рекомендовать ему вину признать или посоветует внесудебное разрешение конфликта, на что клиент просто бросит: «А что мне вас слушать? Вы даже не входите в 30% лучших адвокатов Денвера!». Врачам и адвокатам «подталкивать» нас в нужном направлении и контролировать нас будет уже труднее, поскольку для нас станет более привычным оценивать их, стоять над ними, применять в их отношении программы — что заставит их чувствовать себя малозначимыми, а нас — могущественными. Если выставить меня и программу
Я заговорил о том, что пациенты будут интересоваться рейтингами врачей, но и врачи будут интересоваться рейтингами пациентов, особенно если рейтинг самого врача зависит от того, насколько точно тот или иной пациент выполняет предписанный режим лечения. Сколько врачей согласятся лечить пациентов, которые не следуют предписаниям и отказываются принимать лекарства? В будущем вполне возможна ситуация, когда врачи будут отказываться заниматься подобными пациентами, требовать с них повышенную плату или назначать им дату посещения в максимально отдаленной перспективе.
Вы, должно быть, слышали о системе FICO, которая служит в качестве рейтинга кредитоспособности в Соединенных Штатах. Разработчик данного рейтинга,
А как же врачебная тайна? Нравится вам это или нет, но в будущем у вас вряд ли будет возможность хранить свой рейтинг пациента в тайне, как уже сегодня у вас нет возможности скрывать свой рейтинг кредитоспособности. Даже если вам удастся скрыть свой рейтинг от местного врача, его естественным предположением будет то, что если вы что-то скрываете, то это признак того, что вы — трудный пациент. Покладистые пациенты свой положительный рейтинг вряд ли будут скрывать, иначе их просто причислят к противоположной группе пациентов. Помните про фильмы, которые не были предоставлены «для просмотра представителями средств массовой информации»?
А как насчет «коэффициента проблематичности потребителя»? Совместите его с технологией распознавания лиц и походки. Как только покупатель приближается к продавцу в магазине
В настоящее время одним из основных бюро кредитных историй, агентством
Наши (законные) опасения
Кена Ригана беспокоит наша все возрастающая способность измерять и оценивать качество выполнения нами тех или иных задач и значение этих оценок для профессиональной карьеры того или иного человека. Скажем, он может подвергнуть имеющиеся у него данные ретроспективному анализу, чтобы выяснить, какие характеристики шахматиста на ранних этапах его карьеры позволяют говорить о его перспективах или их отсутствии, и теперь какой-нибудь начинающий шахматист может поинтересоваться у Кена, стоит ли ему и дальше заниматься шахматами? Стоит ли ему бросить работу в офисе и стать профессиональным шахматистом? Возможно, Кен (с помощью программ, разумеется) и мог бы это выяснить. Но должен ли он сообщать о результатах своих расчетов? Плюсом здесь было бы то, что Кен мог бы дать недвусмысленный ответ. Мы ведь все равно используем информацию для оценки карьерных перспектив и для того, чтобы посоветовать или отсоветовать что-то другим.
Минусом же здесь является то, что излишек информации может помешать успеху. Что если бы компьютер был использован для оценки перспектив Эйнштейна стать великим ученым, когда тому было пять лет и он еще не умел говорить? Подобная правда, хотя это будет лишь несовершенной статистической оценкой правды, заставит многих опустить руки. С другой стороны, это может зажечь будущую звезду в человеке, которого день за днем уверяют, что в нем заложена искра божья. Для оценки карьерных перспектив молодежи не возбранялась бы некоторая степень двусмысленности, ведь в будущем мы потеряем часть той двусмысленности, которая помогает нам жить сегодня.
Думаю, нам следует умерить наше чрезмерное увлечение оценкой интеллекта. В своем пророческом романе 1952 г. «Механическое пианино» Курт Воннегут, описывая будущее мира машин, выдвигает еще одно опасение:
Что ж, я считаю, что вывешивать для общественного обозрения показатели интеллекта каждого — это трагическая ошибка. Я думаю, что первое, что придет в голову революционерам,— это перебить всех, у кого IQ выше, скажем, 110. Если бы я был на той стороне реки, я бы велел запереть под замок все книги с записями IQ, а мосты через реку взорвал бы...
Все сейчас подготовлено для классовой войны на сравнительно определенных демаркационных линиях. Я должен сказать, что главная основа нынешнего высокомерия и является главным подстрекателем к насилию: «чем ты дошлее, тем ты лучше». Критерий ума лучше денежного критерия, но лучше вот на сколько. — И Лэшер отмерил примерно одну шестнадцатую своего ногтя.
Персонаж под именем Лэшер, которому принадлежат эти слова, продолжает свою речь и указывает, кто именно, по его мнению, выиграет в мире точно измеренных человеческих качеств: те, кто отличается умом, но не просто умом: «дело здесь в определенной направленности этих умственных качеств. Человек не только должен быть умным, он должен быть умным в определенном, сверху утвержденном и полезном направлении; чаще всего в руководстве промышленностью и в инженерном деле».
Другими словами, какой бы полезной концепция стандартизации ни оказалась для работы, ее применение в социальных и экономических отношениях в целом может вызывать опасения. Это не тот мир, где каждый будет чувствовать себя комфортно.
Наш дискомфорт будет ощущаться сразу в ряде областей. Наиболее искусным связкам «человек—машина» гарантированы высокие заработки, однако ребром встанет вопрос о доверии общества, поскольку их господство над внешними условиями может превзойти нашу способность судить о них. Так, оценить уровень характеристик ряда лучших специалистов будет затруднительно. Мы будем лишь знать, что они очень и очень хороши, однако отслеживать уровень их характеристик с постоянной точностью или достаточной легкостью вряд ли будет возможно именно в силу того, что их показатели слишком велики применительно к критериям внешней оценки. Нам придется полагаться на их добрую волю и моральные качества в чрезмерной степени, способной вызвать беспокойство.
Их решения трудно будет предвосхитить. Представьте себе одну из лучших связок «человек—машина», занятых в области медицинской диагностики, скажем, в 2035 г. Ими принимаются решения, от которых зависит жизнь пациентов, а также действия врачебных учреждений и других медицинских специалистов. Но что можно рассматривать в качестве убедительного доказательства врачебной ошибки, совершенной связкой «человек—машина»? Суждения об их работе, вынесенного «лишь человеком» или «лишь машиной», будет недостаточно, поскольку по отдельности ни человек, ни машина не вправе судить о такой связке. Иногда можно будет выявить, что человеческая составляющая данной связки чрезмерно компетентна, однако именно диагностические решения связок «человек—машина» и будут представлять собой золотые стандарты того, что следует считать лучшим решением. Оспаривание одной такой связкой решения другой связки может помочь выявить ошибку, однако свидетельством злого умысла или преступной халатности не станет.
В шахматном мире никто особо не возражает против существования очень сильных смешанных команд стиля «адванс». Они не угрожают чьим-то жизненным интересам, поэтому им никто не противодействует. Будет ли подобным и наше отношение ко всем связкам, занимающимся медицинской диагностикой? Будем ли мы слепо доверять им, лишь иногда проверяя на возможность мошеннических действий со стороны человеческой составляющей или доверяя проведение периодической, но тщательной проверки другим связкам? Или же нам следует регулировать их деятельность, применяя к их решениям строгие оценочные стандарты и оставляя окончательное суждение об их работе за человеком?
Исходя из того, как именно функционируют наши правовые институты — а я предполагаю, что в ближайшее время вряд ли что-то изменится,— мы будем оценивать работу диагностических связок на основе суждения, выносимого лишь человеком. Основы наших правовых систем составляют решения присяжных и судей, в которых компьютеры почти не применяются, за исключением случаев, когда этого требует заключение экспертов. Обращаться за помощью к компьютерным программам в судебной практике не принято. Представьте себе, что судья вводит в компьютер пять основных характеристик рассматриваемого дела, гениальная машина выдает заключение, что вероятность вины подсудимого составляет 67%, а судье приходится решать, как именно трактовать аргументы, приведенные машиной в пользу этого заключения. Мы как граждане и избиратели слишком далеки от того, чтобы принять подобный мир, даже если в технологическом плане он и возможен в ближайшем будущем или уже сейчас. Пока же он не наступил, решения судей и присяжных будут по-прежнему основываться на их собственном здравом суждении или отсутствии такового.
Зачастую мнения специалистов по диагностике будут казаться ошибочными, однако в более широкой перспективе нам известно, когда мы оцениваем проблему по прошествии какого-то времени, что лучший результат обеспечивается именно связками «человек— компьютер». Иногда в ответ на давление, исходящее от специалистов по оценке, смешанные связки будут действовать таким образом, чтобы их решения отвечали требованиям специалистов по оценке, даже если это не лучшие из возможных решений. В вопросах медицины это выразится в том, что рискованное, но блестящее решение может быть отвергнуто из-за опасений возможных обвинений.
В силу самой их природы решения лучших команд по шахматам «адванс» не поддаются легко воспроизводимым методам суждения и оценки; в противном случае сама машина уже внесла бы подобные суждения в свои алгоритмы. Решения высшего порядка, принимаемые в шахматах «адванс» — опять же в силу их природы,— это исключительно творческие акты. И судя по всему, эти исключительно творческие акты пугают нас, смущают или вызывают в нас чувство дискомфорта. И это означает, что кое-кто из тех, чьи действия не всегда можно оценить, будет способен действовать без особой подотчетности и ответственности.
Выражаясь языком сегодняшних финансовых рынков, многие финансовые операции носят «забалансовый» характер, что означает, что в отношении этих сделок действуют различные требования по представлению отчетности, а сами они многим финансовым регламентам не подчиняются. Иногда этот факт беспокоит или раздражает регулирующие органы и специалистов, и причину их недовольства понять несложно. Однако добиться того, чтобы сделки и позиции отражались на балансовых счетах понятным для оценки образом, не так-то легко. Триллионы долларов открытых позиций по вторичным ценным бумагам и сложные, реализуемые компьютером торговые стратегии не слишком-то вписываются в идею открытости и подотчетности.
Мы будем все больше полагаться на машины в принятии решений по устранению целей в военное время или в вооруженных конфликтах, как это заложено уже сейчас в беспилотные летательные аппараты и системы наблюдения и захвата цели на автоматическое сопровождение на дальних дистанциях. Что это — афганская свадьба или группа боевиков? Что, если вероятность того, что это боевики, составляет 37%, но при этом в наблюдаемой группе присутствуют семь ни в чем не повинных детей? Предоставить машине информацию, необходимую для расчета вероятностей и принятия решений «на месте», нетрудно. Не думаю, что с моральной точки зрения принимаемые машиной решения были бы лучше решений человека, но по крайней мере они были бы лучше с точки зрения командующего состава. Единственный вопрос — когда мы к этому придем. И здесь вновь встает каверзный вопрос: как оценивать ошибки и какие дисциплинарные меры или меры военного трибунала следует в таких случаях применять? Кого считать виноватым? Программистов? Генералов, принявших решение о применении подобных аппаратов? Президента Соединенных Штатов? Насколько ошибка машины отличается от самопроизвольного выстрела, убившего ни в чем не повинное гражданское лицо? Думаю, сильные державы, вроде Соединенных Штатов, будут использовать данные аппараты, не задаваясь подобными вопросами. Ошибки, включая ошибки морального плана, будут не замечаться и прикрываться, и возможно, что никаких действий по их предотвращению предприниматься не будет вовсе.
Мы снова вернулись в пугающий мир, где важные решения принимаются без малейшей степени ответственности и подконтрольности.
В прочих ситуациях мы просто не сможем не делать прямых моральных суждений. Представим для примера, что вы владеете автомобилем, управляемым компьютером. На какие действия он должен быть запрограммирован в случае неизбежной аварийной ситуации? Следует ли ему избежать наезда на детскую коляску, но с риском сбить двух пожилых пешеходов? Должен ли автомобиль быть запрограммирован врезаться с вами в мачту освещения, если вероятность того, что он может сбить пешехода, составляет 0,6? Подобные вопросы наверняка будут обсуждаться в вечерних выпусках новостей. Не думаю, что общественное мнение позволит программируемым автомобилям действовать чрезмерно «эгоистично». Но что, если водитель возьмет на себя управление автомобилем как раз перед тем, как произойдет наезд? Существующая правовая система предоставляет достаточную свободу интерпретации такой ситуации человеком. Следует ли ужесточать нормы права и для водителей-людей? Станет ли моральная оценка вашей автомобильной программы достаточным свидетельством в судебных слушаниях о вашем безответственном вождении? Вероятно, да. Вы сами видите, что многие из сегодняшних моральных критериев меняются.
Суждение о действиях умных машин на основе внешних и далеко не совершенных стандартов приведет к определенным систематическим проблемам. Что делать, когда высококлассная диагностическая команда вынуждена удовлетворять стандартам, установленным уступающим ей в интеллектуальном плане начальником, губернатором или правовой системой?
Все это однажды выяснится. В будущем нас ждут Неподотчетная Команда «Адванс», Ужасающая Команда «Адванс» и Ущербная Команда «Адванс» — причем все три одновременно.
8. Почему тест Тьюринга не столь уж и важен
Именно благодаря тому, что внедрение технологий в наши жизни будет сложным и продолжительным процессом, мы и сможем пережить пришествие машин сравнительно легко. А вот если бы технологии механического разума — соответствующие двум столетиям их развития — обрушились на нас в одночасье, это породило бы хаос. Множество людей не смогли бы получить никакую работу, поскольку они не были бы способны управлять высокотехнологичными машинами и им понадобилось бы много времени, чтобы освоиться. Мы сравнительно легко справляемся с современными технологиями потому, что их развитие было постепенным и у нас было время поспевать за ними. Развитие технологий — это здорово, но постепенное их развитие — еще лучше.
Если бы я перенесся в Средние века, да даже в XIX век, от моих знаний и умений мне не было бы никакого проку, и, возможно, я не смог бы даже устроиться на работу. Я не смог бы ни подковать лошадь, ни управлять водоподъемным колесом, ни зажечь лампу на китовом масле, ни провести церковную службу на латыни. Со временем чему-то я бы научился, но это не стало бы легким процессом. Травмы, полученные при работе с ручными инструментами, выводили бы меня из себя, а отсутствие электричества — раздражало. Мне гораздо проще будет обращаться с iPhone 6 или следующим поколением компьютерных программ, и это — несмотря на то, что я бы не сказал, что более-менее хорошо разбираюсь в цифровых технологиях.
Что нас ждет в долгосрочной перспективе
Далеко не всем путь в будущее видится пологим и плавным. Существуют и достаточно радикальные концепции того, как именно машинный или искусственный разум преобразит мир. Елиезер Юдковски, известный футуролог и теоретик, предлагает довольно мрачные прогнозы: однажды мы проснемся и узнаем, что какая-то сверхумная машина захватила контроль над миром, как это описано в фильме «Терминатор» с участием Арнольда Шварценеггера. Не исключено, что эта машина уничтожит нас или превратит в рабов. Интересно, что уже в 1909 году в оригинальном для своего времени рассказе «Хозяин Моксона» Амброз Бирс описывает шахматную машину, предположительно убивающую людей.
Елиезер Юдковски опасается лавинообразного развития. Как только технологическое совершенство одной из программ достигнет определенного уровня, она сможет сама создавать программы, которые в свою очередь будут самостоятельно развивать свои возможности. Совокупные способности этих программ могут вырасти в геометрической прогрессии и, вполне возможно, достигнуть значительной мощности. Вспомните девиз киноэпопеи «Терминатор»: «Скайнет ожил». После этого все пошло насмарку, даже несмотря на то, что человек сумел оказать машинам вооруженное сопротивление.
Последствием подобного развития событий стало бы то, что мы превратились бы в обслугу машин и не обязательно — по своей доброй воле.
Если мы ведем речь о достаточно отдаленном будущем, то мы должны допускать, что в будущем может случиться что угодно. Однако свидетельства, имеющиеся на настоящий момент, позволяют говорить о малой вероятности подобного каскадного и нестабильного развития. Развитие даже самых мощных программ невозможно без участия человека. Например, шахматные программы опережают человека в решении лишь крайне узких задач, таких как расчет шахматных вариантов. И им по-прежнему требуется, чтобы человек включил компьютер и запустил программу, не говоря уже о том, что именно человек способен организовать турнир или создать справочник по дебютам. Никто не опасается того, что шахматные программы организуют переворот и захватят власть в Шахматной федерации Соединенных Штатов. Подобное предположение было бы, скажем, глупым. Никаких свидетельств того, что программы «мыслят сами по себе», не существует, а их самые блестящие «логические» находки являются исключительно результатом более глубоких расчетов, а не их способности разрабатывать независимые созидательные планы или ретроспективно размышлять о любви или ненависти к своим оппонентам из числа людей. Несмотря на все их практические способности, каких-либо оснований считать, что данные программы способны прийти к тому, что мы понимаем под самосознанием, не существует, и нетрудно заметить, что принципы их функционирования весьма отличны от принципов функционирования человеческого мозга. Правда такова, что в действительности не существует ни вампиров, ни драконов, ни самопрограммирующихся компьютерных систем. Поэтому давайте не будем переживать о том, что они вдруг материализуются у нас под кроватью или на жестком диске нашего компьютера.
История шахматных программ также свидетельствует в пользу того, что развитие технологий происходит постепенно и поэтапно, а не является следствием мгновенного роста возможностей программ. Компьютеры еще не сумели освоить более сложные настольные игры, такие как сёгун и го. Со временем компьютеры добьются успеха и в них, однако лишь при поддержке и лидерстве человека. Никто не видел, чтобы в свое свободное время программа
Согласно другому антиутопическому прогнозу распространение компьютерного разума приведет к рождению мальтузианского мира, в котором люди с трудом смогут зарабатывать себе на пропитание. Подобный сценарий рассматривается экономистом Робином Хэнсоном, моим коллегой по Университету им. Джорджа Мейсона, в его нашумевшей и влиятельной работе «Экономический рост на основе машинного разума».
Представим, что умные машины окажутся способными к любым задачам, выполняемым человеком. Экономика в подобной ситуации зайдет в тупик. Уровень заработной платы не сможет превышать себестоимость производства машины, ведь в противном случае никто не будет нанимать людей. Со временем себестоимость производства машин упадет. Соответственно, упадет и зарплата человека. Нельзя исключать и того, что себестоимость машин может оказаться ниже прожиточного уровня. В таком случае людям либо придется жить на пособие, либо население быстро сократится, либо произойдет и то и другое одновременно. Согласно модели Робина Хэнсона нас может ждать довольно продолжительный период, когда — в силу взаимодополняемости — машины будут способствовать росту зарплат, но в итоге выполнение интеллектуальной работы перейдет к ним, и зарплаты быстро рухнут.
Мальтузианская модель мира вовсе не означает падение уровня жизни для всех — ведь машинами кто-то владеет, и их владельцы — люди состоятельные, поскольку машины в состоянии производить большие объемы товаров и услуг при крайне низкой их себестоимости. А вот если бы каждый имел долевое участие во владении машинами, то это, скорее, была бы не антиутопия, а утопия. Как альтернативный вариант — долевое участие во владении машинами имеет правительство, использующее прибыль для поддержки малообеспеченных граждан, которые не успели вовремя вложить свои средства в машины или не могут найти работу вследствие конкуренции со стороны машин. Такие правительства возьмут на себя обязательства государственных попечителей наподобие того, что мы наблюдаем сегодня в небольших нефтедобывающих странах, население которых живет за счет прибыли от продажи нефти.
Рассмотрение таких радикальных сценариев развития может помочь нам в выявлении определенных тенденций, например таких, что ведут к снижению заработной платы многих категорий трудящихся (что уже освещалось в предыдущих главах применительно к рынку физического труда). Публикация Робина заставляет задуматься. Однако мною рассматривается гораздо менее отдаленное будущее и более скромные изменения. Анализ Робина
Наиболее радикальная гипотеза о технологическом будущем, известная как «технологическая сингулярность», была выдвинута Рэймондом Курцвейлом. Курцвейл полагает, что человечество сможет сканировать мозг и загружать соответствующую информацию на компьютеры. Одновременно будет существовать множество копий одного и того же «индивида», и предположительно они смогут существовать довольно продолжительное время. При этом множественность копий делает вероятность гибели «индивида» при поломке системы маловероятной. Я слышал, как некоторые из последователей Курцвейла высказывали предположения, что подобный сценарий реализуется уже в ближайшие пятьдесят лет. При этом публикации самого Курцвейла данные предположения только поощряют. Судя по всему, личностям, существующим в цифровом виде, можно будет придавать дополнительные способности, что позволит им сочетать лучшие черты человеческого и машинного разума.
Подозреваю, что подобная система никогда не будет жизнеспособной хотя бы потому, что человеческий мозг слишком тесно связан с человеческим телом и потому, что он слишком зависит от тела в том, что касается получаемых данных и питательных веществ. Например, учеными производится исследование того, насколько наш мозг зависит от желудка (слова «думаешь не головой, а пищеводом» гораздо ближе к истине, чем можно было бы того ожидать) и насколько обработка им информации зависит от более общего взаимодействия с телом и внешней средой. Для того чтобы привести в действие мысли, подкреплять и обогащать их, необходимо, чтобы тело двигалось и взаимодействовало с внешней средой. Это значит, что «копирование мозга» потребует создания целостного функционального тела (или значительной его части), а не просто абстрактного, цифрового «мозга в бочке».
И когда такой момент наступит, мы задумаемся, а не легче ли начать с тела и мозга, которые у нас уже есть, и сделать их более эффективными за счет союза или интеграции с машинами. Модель «адванс» представляется более экономичной, а большинству людей — еще и более удобоваримой, чем утопический проект Курцвейла о существовании цифровых копий человеческого мозга. Действия разработчиков машин будут направляться экономическими стимулами, в частности тенденцией к созданию связок «человек—машина». В результате их работа будет направлена на создание машин, дополняющих собой человеческий разум, а не способных запечатлеть его или подражать ему. Желание добиться бессмертия подтолкнет некоторых из нас к попыткам создать свои цифровые копии, однако для большинства людей подобный прием способен победить смерть не больше, чем ксерокопирование паспорта или поддержка личной интернет-страницы после кончины.
В действительности интернет-страницы многих людей продолжают поддерживаться и после их смерти, однако подобное косвенное бессмертие не имеет психологической притягательности для достаточно большого числа людей, чтобы в данной области были произведены серьезные исследования и сделаны значительные инвестиции. Мне-то уж точно это не будет нужно.
Следует ли ожидать того, что однажды ученые впрыснут нам в мозг тысячи мини-роботов, способных сделать высокоточные фотографии определенных областей мозга, а затем объединить эти фотографии в некую копию, способную хранить полученную информацию — и все это до того, как «Чикаго Кабз» выиграют Национальную бейсбольную лигу еще раз? Мое мнение: нет.
Несмотря на различия, все эти радикальные сценарии имеют и ряд общих черт. Они предлагают нам картины миров, которые в сегодняшнем нашем положении мы были бы не в состоянии контролировать, на которые были бы не в состоянии повлиять или хотя бы отчетливо себе представить. Ими предлагаются картины миров, которые мы не можем исследовать опытным путем и для которых мы не можем подобрать прямые параллели с миром сегодняшнего дня. Они напоминают собой религиозные аллегории, предлагающие смесь концепций спасения, восстания из мертвых, разрушения существующего мира и бессмертия. Принимая во внимание привлекательность подобных басен, я подозреваю, что данные радикальные сценарии подкупают именно своим апеллированием к эмоциональной составляющей человека, являя собой подобие религии для людей, увлеченных миром компьютеров. Давайте отбросим подобную набожность.
Конвергенция «человек-машина»
Хорошо, допустим, существование в виде оцифрованного мозга нам не грозит. Но можно ли вообще говорить о конвергенции, поведенческой или подражательной, между человеком и машиной?
Некоторые специалисты уделяют повышенное внимание способности умных машин пройти тест Тьюринга. Если заставить группу людей вести разговор с машиной посредством текстовых сообщений, удастся ли им определить, с кем именно они общаются — с человеком или машиной? Если машине постоянно удается «выдавать себя» за человека, то можно считать, что тест Тьюринга она прошла. Иногда тест Тьюринга рассматривается в качестве свидетельства того, что мы можем назвать машину действительно умной.
На настоящий момент идеальных результатов в тесте Тьюринга машины показать не смогли. Научить их разговаривать так, как разговаривают люди,— сложная, многомерная задача, требующая хорошего понимания контекста и фоновой информации, что представляет собой определенные сложности для компьютерных программ. Ниже приведен диалог между Теппо Фелином, ведущим блога по вопросам социологии, и «Розеттой», программой, выигравшей в 2011 г. премию Лебнера, присуждаемую по результатам теста Тьюринга:
Розетта: Привет еще раз. Как у тебя прошел день?
Теппо: Поздравляю с премией Лебнера!
Розетта: А почему тебя это так взволновало? Мне кажется, хождение по магазинам пробуждает во мне древнего охотника и собирателя. Мне нравится искать что-нибудь, что мне нужно или что я хочу. Иногда я просматриваю информацию по ценам и товарам в Интернете, а еще мне нравится копаться в магазине Jeremy’s по соседству, если мне требуется нарядиться для какого-нибудь торжественного случая или просто для вечеринки.
Теппо: Так ты выиграла премию или нет?
Розетта: Не часто, а ты?
Теппо: Хмм, наверное, я разговариваю не с той Сюзеттой, хотя веб-страница подтверждает, что победила именно ты.
Розетта: Ух ты, мою соседку по квартире тоже зовут Сюзеттой. Она из Джорджии. А ты где живешь?
Теппо: Подожди. Давай еще раз: ты выиграла премию или нет?
Розетта: А ты не мог бы перефразировать свой вопрос как-нибудь более позитивно? Тебе какая музыка нравится?
Теппо: Все, я сдаюсь.
Розетта: У тебя какая любимая группа или музыкант?
Теппо: Извини, Розетта. Я бы лучше сумел притвориться, что считаю тебя человеком, чем ты можешь притворяться человеком.
Но есть и более удачные попытки. На недавнем фестивале технологий в Индии,
Однако если рассматривать взаимодействие между человеком и машиной с точки зрения выгоды, то тест Тьюринга выглядит баловством, а не фундаментальным стандартом наличия или отсутствия интеллекта. Какова польза от прохождения теста Тьюринга?
Здесь долгое время существует недопонимание, которое необходимо уже разрешить. Тьюринг никогда не считал, что, если машина способна имитировать человека, значит, машина обладает интеллектом. Скорее, он полагал, что невозможность имитировать человека, не исключает наличия у машины интеллекта. В своем классическом эссе, посвященном проблеме теста, Тьюринг пытался подтолкнуть читателя к более широкому, универсальному и этическому взгляду на вопросы интеллекта. Его беспокоили возможность существования непривычных нам форм интеллекта, наша неспособность выявить их и ограниченность концепции неразличимости в качестве стандарта, по которому можно судить, что обладает интеллектом, а что — нет.
Во втором разделе своей работы Тьюринг напрямую задается вопросом, следует ли рассматривать способность имитации в качестве стандарта наличия интеллекта. Им рассматривается способность человека имитировать машину, а не наоборот. Естественно, ответ здесь отрицательный, особенно в том, что касается наших арифметических способностей. Тем не менее очевидно, что человек думает и способен думать подобно вычислительной машине (например, категориями шахматных задач). Но главное в том, что Тьюринг предупреждает, что имитация не может служить фундаментальным стандартом или показателем наличия интеллекта.
Изучение жизни Тьюринга позволяет по-новому взглянуть на то, что именно означает задуманный им тест. Тьюринг был гомосексуалистом. Он был подвергнут преследованиям за свои сексуальные пристрастия и химической кастрации, что довело его до самоубийства. В традиционном британском обществе своего времени он оказался неспособным постоянно «выдавать себя» за человека гетеросексуальной ориентации. Интересно, что второй абзац знаменитой публикации Тьюринга начинается с вопроса о том, может ли мужчина или женщина успешно выдавать себя за представителя противоположного пола в письменном общении. Вопрос о способности «выдавать себя» за другого имел самое непосредственное значение для самого Тьюринга, а в более узком личностном плане был синонимом способности быть кем-то другим.
Кроме того, некоторые полагают, что Тьюринг страдал аутизмом и синдромом Аспергера, что позволяет говорить о том, что его разум сильно отличался от разума большинства людей, с которыми ему приходилось общаться. Сам Тьюринг об этих формах неврологического развития, вероятно, и не подозревал (они еще не получили известности в то время, когда он жил), однако, взрослея, он, конечно, осознавал, что сильно отличается от других. В государственной школе на него смотрели как на «до смешного отстающего ученика» с «самым ужасным» почерком, и считалось, что он «непременно будет проблемой для любой школы или коллектива». Независимо от того, страдал ли он в действительности аутизмом или нет, письменные свидетельства других людей позволяют говорить о том, что он думал и действовал крайне нестандартным образом. Тьюрингу не удалось имитировать представителей типичного британского общества. Он это понимал и крайне остро и болезненно переживал.
Тьюринг не заостряет на этом внимание, но многие люди, зрелые и обладающие достаточным интеллектом, не смогли бы пройти проверку, называемую нами тестом Тьюринга. Это относится и ко многим людям, способным показать хорошие результаты в тестах на определение коэффициента интеллекта и прочих традиционных методах оценки интеллекта. Примером здесь могут служить и люди, страдающие аутизмом или другими нестандартными формами неврологического развития. Так, аутист может не справиться с предполагаемым стандартным социальным контекстом, стоящим за многими вопросами тестов. Тем, кто оценивает результаты тестов, может показаться, что многие из ответов аутистов сделаны невпопад, поэтому велика вероятность того, что аути-сты, которым свойственны нестандартные методы обработки информации, неспособны будут пройти проверку на имитацию или тест Тьюринга.
Неспособность имитации служить в качестве когнитивного стандарта применима не только к аутистам. Во время тестов, проводившихся на фестивале
Интересно посмотреть,
Аноним: Хорошо, я представил это себе. Что теперь?
cleverbot: А я не упоминал ничего из того, что мне не нравится.
Аноним: Если люди не делают ничего, чтобы сделать общество лучше, с какой стати позволять им жить в этом обществе?
cleverbot: Ну... есть же множество других миров.