Помоги проекту - поделись книгой:
Поскольку алгоритм считал, что мне должен нравиться «Spinal Tap», мое сообщение о том, что это не так, дало ему много полезной информации. С учетом новых данных расположение фильмов на экране радикально изменилось. Но затем произошло и менее заметное изменение, касающееся основной программы, управляющей алгоритмом. Из данных, которые я ей дал, она узнала нечто новое. Эти новые сведения внесли очень небольшие изменения в параметры модели, вырабатывающей рекомендации. Заданная в ней вероятность того, что мне нравится «Spinal Tap», была сочтена слишком высокой, и параметры были изменены так, чтобы уменьшить эту вероятность. По опыту взаимодействия с другими любителями Уэса Андерсона и «Манхэттена» программа знала, что многие из них любят и этот фильм, но теперь она выяснила, что это правило действует далеко не всегда.
Именно таким образом наше взаимодействие с динамическими алгоритмами позволяет машине продолжать обучаться и приспосабливаться к нашим симпатиям и антипатиям. Теперь такого рода алгоритмы определяют многое из того, что мы выбираем в своей жизни, – от фильмов до музыки, от книг до потенциальных партнеров.
Основная идея алгоритма, рекомендующего фильмы, очень проста. Если вам нравятся фильмы А, В и С, а другой пользователь также перечисляет их в списке своих любимых фильмов, но ему к тому же нравится и фильм D, то велика вероятность, что фильм D понравится и вам. Разумеется, данные гораздо сложнее этого примитивного подбора. Возможно, фильмы А, В и С нравятся вам тем, что в них играет определенный актер, которого нет в фильме D, а второму пользователю – тем, что все они про шпионов.
Алгоритм должен уметь рассмотреть данные и понять, почему именно вам нравятся определенные фильмы. Затем он подбирает других пользователей, которые тоже выбрали те характеристики, которые нравятся вам. Как и во многих других случаях машинного обучения, начинать нужно с хорошего набора исходных данных. Один из важных компонентов машинного обучения состоит в том, что необходимо участие людей для классификации данных, чтобы компьютеры знали, что именно за информацию они рассматривают. Такая операция организации данных обеспечивает предварительную подготовку рабочей области, в которой алгоритм может затем выявить фундаментальные закономерности.
В случае с базой данных кинофильмов можно попросить кого-нибудь просмотреть ее и выбрать ключевые характеристики – например, отобрать романтические комедии или научно-фантастические фильмы или, скажем, фильмы определенных режиссеров или с определенными актерами. Но такого рода организация далеко не идеальна. Она отнимает много времени. Она может отражать личные пристрастия тех, кто занимается классификацией, и в результате может научить компьютер тому, что мы и так уже знаем, а не выявить новые скрытые тенденции. Она может привести к тому, что алгоритм усвоит взгляд на данные, присущий определенным людям. Лучше всего учить алгоритм распознавать и выявлять закономерности на совершенно сырых, необработанных данных.
Именно этого пыталась добиться компания Netflix, объявившая в 2006 году соревнование под названием Netflix Prize. Она разработала свой собственный алгоритм для предложения пользователям фильмов, которые должны им понравиться, но считала, что состязание может стимулировать изобретение более совершенных алгоритмов. К этому моменту у Netflix имелось огромное количество данных, полученных от пользователей, которые смотрели фильмы и выставляли им оценки от 1 до 5. Компания решила опубликовать 100 480 507 оценок 17 770 фильмов, поставленных 480 189 анонимными пользователями. Задача усложнялась тем, что названия этих 17 770 фильмов не разглашались. Каждый фильм был обозначен только номером. Узнать, какой фильм скрывается под номером 2666 – «Бегущий по лезвию»[32] или «Энни Холл»[33], – было невозможно. Доступ был открыт только к оценкам, которые поставили ему любые из 480 189 пользователей, если они вообще его оценивали.
Помимо 100 млн опубликованных оценок у Netflix осталась еще 2 817 131 оценка, державшаяся в секрете. Задачей участников состязания было создать алгоритм, который сумел бы предсказать эту 2 817 131 рекомендацию на 10 % точнее, чем собственный алгоритм Netflix. Исходя из показанных ему данных, алгоритм должен был суметь угадать, как пользователь номер 234 654 оценил фильм номер 2666. Чтобы сделать соревнование более острым, первой команде, алгоритм которой опередит алгоритм Netflix на 10 %, был обещан приз 1 000 000 долларов. Хитрость заключалась в том, что победитель был обязан опубликовать свой алгоритм и предоставить Netflix неисключительное право на его использование для выработки рекомендаций фильмов клиентам компании.
По пути к миллионному призу присуждалось несколько призов за продвижение к цели. Каждый год команда, добившаяся на этот момент самых лучших результатов, получала приз 50 000 долларов при условии, что она обошла прошлогоднего лауреата этого приза по меньшей мере на 1 %. Чтобы получить этот приз, участники также должны были обнародовать код, который они использовали в работе своего алгоритма.
Можно подумать, что эта задача была почти невыполнимой, раз нельзя было узнать даже, какого жанра фильм скрывается под номером 2666 – фантастика или романтическая комедия. Однако необработанные данные могут рассказать о себе поразительно много. Представим каждого пользователя точкой в 17 770-мерном пространстве, в котором каждое измерение соответствует какому-то одному фильму, а положение точки в каждом из измерений соответствует оценке, которую пользователь поставил этому фильму. Конечно, если вы не математик, представление пользователей точками в пространстве с 17 770 измерениями кажется задачей несколько непомерной. Но на самом деле это просто расширение графического представления пользователей, которое вы использовали бы, если бы речь шла об оценках всего лишь трех фильмов. Предположим, фильм № 1 – это «Король Лев», фильм № 2 – «Сияние», а фильм № 3 – «Манхэттен». Если некий пользователь поставил этим фильмам, соответственно, одну звезду, четыре звезды и пять звезд, мы легко можем представить этого пользователя точкой с координатами (1,4,5) в трехмерной координатной сетке, в которой по оси
Хотя мы не можем изобразить 17 770-мерное пространство на графике, существуют математические методы, позволяющие представлять положение точек в таком пространстве. Точно так же фильм можно представить точкой в 480 189-мер-ном пространстве, в котором положение фильма в измерении, соответствующем каждому пользователю, соответствует оценке, которую этот пользователь поставил этому фильму. В первый момент трудно увидеть в таких точках, разбросанных по пространствам со столь огромным числом измерений, какие-либо закономерности. Нужно, чтобы алгоритм сообразил, существуют ли способы сжать эти пространства с точками до гораздо меньшего количества измерений, так, чтобы начали проявляться закономерности.
Чем-то это похоже на разные тени, которые отбрасывает голова человека. По некоторым теням можно узнать об этом человеке гораздо больше, чем по другим. Например, профиль Хичкока очень легко узнаваем, а тень, которая получается, если направить в лицо луч фонарика, дает мало информации. Идея заключается в том, что фильмы и пользователи подобны точкам лица. В тени, отбрасываемой под одним углом, все эти точки могут выстроиться в линию, а под другим углом никакой структуры не увидишь.
Может быть, можно найти способ получения такой двумерной тени этих многомерных пространств пользователей и фильмов, в которой отображения пользователей оказываются рядом с отображениями фильмов, нравящихся этим пользователям. Нужно только найти правильную тень, в которой будут видны основополагающие характеристики фильмов и пользователей. Ниже приведен пример такой тени, созданной на основе данных Netflix по 100 пользователям и 500 фильмам. Видно, что тень выбрана правильно, потому что две характеристики, которые она оценивает, по-видимому, выражаются весьма отчетливо. Это видно из того, что точки не разбросаны по всей плоскости. Тень выявляет в данных некую закономерность.
Если посмотреть на названия реальных фильмов, отображенных на графике, легко увидеть, что эта тень действительно отражает характеристики, которые мы посчитали бы ясными отличительными чертами фильма. В правом верхнем квадранте оказываются кинодрамы, а в левом нижнем – боевики.
Именно этот подход применила команда, которой в конце концов и достался в 2009 году приз Netflix. Ее члены решили попытаться выделить тень в 20 измерениях, соответствующих 20 независимым характеристикам фильмов, которые должны были помочь предсказывать, какие фильмы нравятся пользователям. Преимущество компьютера в том, что он может перебрать целый спектр разных теней и выбрать ту из них, которая лучше всего отражает структуру, чего наш мозг и наши глаза никак не могут сделать.
Интересно отметить, что некоторые из характеристик, которые выбрала эта модель, были вполне явными – например, выделение боевиков или кинодрам. Но другие были гораздо менее заметными и трудноопределимыми. Тем не менее компьютеру удалось найти в данных закономерность.
Как мне кажется, этим и интересны такие алгоритмы нового типа. Они могут сказать нам нечто новое о нас самих. В некотором смысле алгоритм глубокого обучения находит в нашем человеческом коде черты, которые мы пока что не умеем выразить словами. Как если бы мы не знали, что такое цвет, и не имели слов для различения красного и синего, но алгоритм, исходя из выражения наших симпатий и антипатий, распределял объекты, находящиеся перед нами, на две группы, соответствующие объектам синим и красным. Мы не можем внятно сказать, почему нам нравится тот или иной фильм, потому что это предпочтение определяется слишком большим числом параметров. Человеческий код, порождающий эти предпочтения, скрыт от нас. Компьютерный же код выявил характеристики, определяющие наши предпочтения, которые мы можем интуитивно ощущать, но не можем высказать.
26 июня 2009 года команда под названием BellKor’s Pragmatic Chaos предъявила результат, преодолевший 10 %-й порог: ее алгоритм показал улучшение на 10,05 %. Компания Netflix разделила засекреченные данные на две половины. Одна половина использовалась для оценки результатов команд. Другую придержали для выявления окончательного победителя. После преодоления 10 %-го порога другие команды получали еще месяц на улучшение своих результатов. 25 июля команда Ensemble представила алгоритм, добившийся улучшения на 10,09 %. На следующий день компания Netflix перестала принимать заявки. К этому моменту обе команды снова несколько усовершенствовали свои алгоритмы: BellKor’s Pragmatic Chaos дошла до 10,09 %, но Ensemble продвинулась еще чуть дальше – до 10,1 %. Приз должен был достаться команде, показавшей лучшие результаты на второй половине данных. В итоге результаты обеих команд оказались одинаковыми, но команда BellKor’s Pragmatic Chaos прислала свои на 20 минут раньше, и миллион долларов достался ей.
Учитывая успех своего первого соревнования, компания Netflix собиралась устроить второе, чтобы стимулировать появление еще более новаторских идей, но с этим возникла одна проблема. Данные должны были быть анонимными. Компания опубликовала на сайте соревнования следующий комментарий относительно конфиденциальности данных:
Вся информация, указывающая на личность пользователей, удалена; оставлены только оценки и даты. Это сделано в соответствии с нашими правилами конфиденциальности. Даже если, например, вы знаете все свои оценки и даты их выставления, вы, вероятно, не сможете с уверенностью распознать их в данных, потому что используется лишь малая выборка (менее одной десятой всего нашего массива данных) и в эти данные вносились искажения. Но, разумеется, поскольку вы и так знаете все свои собственные оценки, в этом на самом деле не было бы нарушения конфиденциальности, не правда ли?
Два исследователя из Техасского университета в Остине взяли эти данные и, сопоставив их с пользователями, оценивающими фильмы на другом сайте, Internet Movie Database, определили личности некоторых из этих пользователей.
17 декабря 2009 года четверо пользователей подали на Netflix в суд, утверждая, что обнародованием этих данных компания нарушила закон о защите конфиденциальности видеоинформации. Одна из пользователей утверждала, что она – мать семейства и лесбиянка, держащая свою ориентацию в секрете, который раскрывают данные о ее кинематографических предпочтениях. То обстоятельство, что по кинематографическим предпочтениям можно догадаться о сексуальной ориентации или политических пристрастиях человека, стали называть фактором «Горбатой горы»[34]. Тяжба закончилась внесудебным соглашением сторон, но привела к отмене второго тура состязания Netflix.
Данные – это новая нефть, но мы расплескиваем ее по всему интернету. По мере того как мы вступаем в будущее, топливом которого будет эта нефть, вопросы о том, кому принадлежат данные и что с ними можно сделать, будут приобретать все большее общественное значение.
Может показаться, что, когда алгоритм говорит вам, что вам может понравиться, в этом есть нечто пугающее – если это означает, что вы никогда не увидите того, что, по его мнению, вам не понравится. Мне лично очень нравится, когда мне предлагают музыку, которую я, возможно, иначе не нашел бы. Я очень легко вхожу в накатанную колею и слушаю по кругу одни и те же песни. Поэтому я всегда любил радио. Но алгоритмы, перемещающие меня вперед и назад по фонотеке, прекрасно справляются с поиском жемчужин, способных мне понравиться. Сначала меня беспокоило, что такие алгоритмы могут загнать всех в определенные разделы фонотеки, оставив остальные ее разделы совсем без слушателей. Могут ли они вызвать слияние вкусов? Но, так как математика, лежащая в их основе, часто бывает нелинейной и хаотической, этого не происходит. Даже маленькое расхождение между моими предпочтениями и вашими способно развести нас в фонотеке в совершенно разных направлениях.
Я слушаю много музыки, которую рекомендует мой алгоритм, на пробежках. Это отличное место для исследования нового. Но несколько недель назад я совершил крупную ошибку. Жена попросила меня помочь в составлении музыкальной программы для празднования дня ее рождения. Она хотела танцев. Она хотела атмосферы восьмидесятых. Поэтому пару вечеров мы слушали то, что нравится ей. Я обычно выбираю другую музыку, но совместными усилиями мы составили отличную музыкальную программу, которая не дала никому из наших гостей усидеть на месте – все они танцевали. Проблемы начались, когда я вышел на первую после этого праздника пробежку. Мой алгоритм завел меня в раздел фонотеки, полный танцевальной музыки 1980-х. Я то и дело нажимал на бегу кнопку «Пропустить», но все равно никак не мог выбраться из этой ловушки. Чтобы вернуться в привычное состояние, мне потребовалось в течение нескольких недель переобучать свой алгоритм на произведениях Шостаковича и Мессиана.
Еще один аспект обучения того алгоритма, с которым мы взаимодействуем, касается спам-фильтров наших приложений электронной почты. Обучение начинается с тренировки на целой куче сообщений, часть которых помечены как спам, а остальные считаются доброкачественными. На этом этапе в их число не входят сообщения, адресованные именно вам. Алгоритм анализирует слова, появляющиеся в этих сообщениях, и начинает создавать профиль спама: 100 % сообщений, в которых встречалось слово «Виагра», были спамом; 99 % сообщений, в которых встречалось слово «рефинансирование», были спамом; 100 % сообщений, в которых встречалось сочетание «аппетитные русские», были спамом. Труднее разобраться со словом «диабет». По-видимому, по электронной почте рассылается множество спама с рекламой лечения от диабета, но это же слово встречается и в некоторых доброкачественных почтовых сообщениях. Алгоритм просто подсчитывает соотношение тех и других случаев в своих тренировочных данных. Скажем, если одно из двадцати сообщений, содержащих слово «диабет», оказывается доброкачественным, алгоритм будет считать, что это слово является признаком спама с вероятностью 95 %.
В фильтре электронной почты можно установить разные уровни фильтрации. Можно сказать ему, что сообщения следует отправлять в папку нежелательной почты, только если он на 95 % уверен, что это спам. Но тут и начинается самое интересное. Алгоритм обучался на наборе обезличенных сообщений, но ваши действия учат его распознавать то, что интересует именно вас. Он учится реагировать на сообщения именно такого типа, какой получаете вы. Предположим, например, что вы действительно больны диабетом. Сначала все сообщения со словом «диабет» будут отбраковываться. Но постепенно, по мере того как вы будете помечать все большее число сообщений со словом «диабет» как доброкачественные, алгоритм перенастроит свою калибровку вероятности, пока она не снизится до уровня гораздо более низкого, чем 95 %, и такие сообщения не станут поступать в папку «Входящие».
Устройство этих алгоритмов таково, что они начинают замечать другие ключевые слова, по которым связанный с диабетом спам можно отличить от нормальных сообщений. Например, наличие в письме слова «исцеление» вполне может быть признаком фальшивки. Машинное обучение заставляет алгоритм просматривать все входящие сообщения в поисках закономерностей и связей, в результате чего в конце концов получается индивидуализированный алгоритм, приспособленный именно к вашему личному образу жизни.
Корректировка вероятностей лежит и в основе работы беспилотных автомобилей. По сути дела, речь идет всего лишь о более замысловатом варианте управления ракеткой в игре Breakout. Руль поворачивается вправо либо влево в зависимости от пиксельных данных, которые машина получает в тот или иной момент. Интересно, что происходит из-за этого с моим счетом – растет он или уменьшается?
В том, как рекомендательный алгоритм Netflix сумел обнаружить в фильмах характеристики, которые людям трудно было бы сформулировать, есть нечто сверхъестественное. Эта история явно опровергает мнение Лавлейс, что возможности машины всегда будут ограничены идеями человека, который ее программирует. Сегодня алгоритмы обладают способностями, которых у нас нет: они могут оценивать огромные массивы данных и разбираться в них.
Это эволюционный недостаток человеческого мозга. Именно поэтому мозг не очень хорошо умеет оценивать вероятности. Вероятностная интуиция требует понимания тенденций в многократно повторенных опытах. Проблема в том, что нам не приходится переживать такого большого числа повторений одного и того же опыта и мы не можем развить в себе такую интуицию. В некотором смысле человеческий код сформировался именно для того, чтобы компенсировать низкий уровень нашего взаимодействия с данными. Поэтому вполне возможно, что благодаря машинному обучению мы в конце концов получим коды, дополняющие наш собственный, а не повторяющие его.
Вероятность играет ключевую роль во многих аспектах машинного обучения. Многие из алгоритмов, о которых мы говорили в главе 4, были реализованы детерминистским образом. Человек понимал, как устроена та или иная задача, и программировал компьютер, который затем с рабской покорностью исполнял все те трюки, на исполнение которых он был запрограммирован. Это было похоже на ньютоновское мировоззрение, в котором Вселенная управляется математическими уравнениями и задача ученого состоит в открытии этих правил и предсказании будущего на их основе.
Физика XX века выяснила, что Вселенная вовсе не так детерминистична, как нам казалось вначале. Квантовая физика показала, что Природа играет в кости. Результаты определяются вероятностями, а не часовым механизмом. Именно это господство вероятности и придало алгоритмам такую силу. Возможно, с этим же связано и то, что люди, обучавшиеся физике, по-видимому, ориентируются в нашем новом алгоритмическом мире лучше нас, математиков. Речь идет о соревновании рационалистов с эмпириками, и, к несчастью для меня, эмпирики одерживают в нем верх.
Как машина научилась играть в Breakout на приставке Atari, если ей даже не объяснили правил игры? В ее распоряжении были только данные о пикселях на экране, счет и ракетка, которую можно двигать влево или вправо. Алгоритм был запрограммирован на вычисление воздействия смещения ракетки влево или вправо на счет с учетом текущего состояния экрана. Поскольку последствия хода могут проявиться лишь через несколько секунд после него, нужно было вычислять отложенное воздействие. Это весьма непростая задача, потому что не всегда ясно, что именно вызвало тот или иной эффект. В этом состоит один из недостатков машинного обучения: иногда оно замечает корреляцию и принимает ее за причинно-следственную связь. Тем же недостатком страдают животные.
Довольно красивая иллюстрация этого утверждения была получена в эксперименте, продемонстрировавшем, что голуби суеверны. Исследователи производили видеозапись поведения нескольких голубей, сидевших в клетках; в определенные моменты дня в их клетки ставили кормушки. Дверцы кормушек открывались с задержкой, так что голубям, взволнованным появлением кормушки, тем не менее приходилось дожидаться, пока они смогут добраться до пищи. При этом было сделано следующее поразительное открытие: какие бы случайные действия ни производили голуби непосредственно перед открытием дверцы кормушки, они повторяли их на следующий день. Голубь увидел, что дверца закрыта. Он повернулся на месте два раза, и дверца открылась. Тогда он (ошибочно) заключил, что причиной открытия дверцы было его кручение на месте. Поскольку он очень стремился получить свою награду, в следующий раз, когда кормушка появилась в его клетке, он на всякий случай повторил свои повороты дважды.
Другой классический случай ошибочного обучения, ставший притчей во языцех среди специалистов по машинному обучению, произошел в американской армии. Военным требовались нейронные сети, обученные отбирать изображения с танками. Группа, разработавшая этот алгоритм, вводила в него изображения, помеченные как содержащие танки и не содержащие их. Алгоритм анализировал эти данные и начал выделять характеристики, отличающие изображения этих двух типов друг от друга. Когда он проанализировал несколько сотен помеченных изображений, его испытали на партии фотографий, которых он никогда до этого не видел. Алгоритм распознал их со стопроцентной точностью, чем чрезвычайно порадовал разработчиков.
После этого алгоритм передали военным для полевых испытаний. Военные вскоре прислали его обратно, заявив, что он ни на что не годится. Разработчики были в недоумении. Когда они проанализировали изображения, которые использовали военные, они увидели, что алгоритм выдавал ответы почти случайным образом. Но тут кто-то заметил в результатах закономерность: алгоритм, по-видимому, очень хорошо находил танки, если они были сфотографированы в облачный день.
Вернувшись к своим тренировочным данным, разработчики поняли, в чем была ошибка. Исследовательская группа получила доступ к танкам всего на несколько дней. Они ездили по полигону и фотографировали танки в разных замаскированных положениях. Но при этом они не обратили внимания на то, что в эти несколько дней стояла облачная погода. Затем исследователи вернулись на полигон и сфотографировали местность без танков, но на этот раз небо было безоблачным. Алгоритм научился только отличать изображения с облаками от изображений с чистым небом. А от детектора облачности военным было мало пользы. Вывод: даже если машина учится, нужно обеспечить, чтобы она училась тому, что нужно.
Эта проблема становится все серьезнее по мере того как алгоритмы, обученные на данных, начинают влиять на жизнь общества. Заявки на ипотечные кредиты, решения в области охраны правопорядка и медицинские рекомендации все чаще и чаще обрабатываются алгоритмами. Но теперь у нас имеется много свидетельств того, что в их работе возникают скрытые искажения. Старшекурсница МТИ Джой Буоламвини обнаружила, к своему смущению, что робототехническое программное обеспечение, с которым она работала, по-видимому, тратило гораздо больше времени на распознавание ее лица, чем лиц ее более светлокожих коллег. Когда она надевала белую маску, робот тут же понимал, где находится ее лицо, но стоило ей снять маску, как она исчезала.
В чем же была проблема? Алгоритм тренировали на множестве изображений белых лиц. В данных было мало лиц чернокожих. Такие искажения в данных породили целую армию алгоритмов, принимающих недопустимые решения: программы распознавания голоса, натренированные на мужских голосах и не узнающие женских, программы распознавания визуальных образов, принимающие чернокожих людей за горилл, автоматические кабины для изготовления фотографий на документы, говорящие людям азиатского происхождения, что их фотографии не соответствуют требованиям, потому что у них закрыты глаза. Четверо из каждых пяти сотрудников в сфере информационных технологий, работающих в Кремниевой долине, – белые мужчины. Это побудило Буоламвини организовать Лигу алгоритмической справедливости (Algorithmic Justice League) для борьбы против искажений в данных, на которых обучаются алгоритмы.
Проблемы возникают и в правовой системе, так как людям отказывают в предоставлении кредитов, устройстве на работу или праве на получение государственных пособий по решению алгоритма. Такие люди – вполне обоснованно – хотят знать, почему им отказали. Но, так как алгоритмы создают деревья решений, исходя из своего взаимодействия с данными, которое трудно проанализировать, обоснование таких решений оказывается делом непростым.
Кое-кто предлагает правовые меры для исправления этого положения, но такие меры оказывается чертовски сложно применять. Статья 22 Общего регламента по защите данных (General Data Protection Regulations), вступившего в силу в Европейском союзе в мае 2018 года, утверждает, что всякий человек должен иметь «право не быть субъектом такого решения, которое основано только на автоматической обработке» и право получать «полноценную информацию о заключенной в ней логике» во всех случаях, когда решение выносится компьютером. И как, интересно, этого добиться?
Отрасль информационных технологий уже призывали попытаться разработать метаязык, при помощи которого алгоритмы могли бы обосновывать свои решения, но пока эта задача не решена, нам, может быть, следует относиться к влиянию таких алгоритмов на повседневную жизнь с большей осторожностью. Многие алгоритмы хорошо справляются с одной конкретной работой, но не очень-то знают, что делать при возникновении непредвиденных отклонений. Когда происходит нечто необычное, они попросту игнорируют это явление, хотя человек на их месте, возможно, смог бы заметить такую нестандартную ситуацию и разобраться в ней.
Это подводит нас к «теореме об отсутствии бесплатных завтраков», которая доказывает невозможность существования универсального обучающегося алгоритма, способного точно предсказывать результат развития событий в любом сценарии. Эта теорема доказывает, что, даже если обучающемуся алгоритму показать половину данных, остальные, невидимые, данные всегда можно подобрать таким образом, что алгоритм будет выдавать точные предсказания на тренировочных данных, но совершенно утратит эту способность, когда дело дойдет до тех данных, которых ему не показывали.
Одних только данных никогда не будет достаточно. Они должны сопровождаться знаниями. Именно в этом отношении человеческий код, видимо, лучше способен работать с контекстом и видеть общую картину – по меньшей мере пока что.
Именно эта способность изменяться и адаптироваться к новым условиям и была использована при создании AlphaGo. Сотрудники DeepMind предусмотрели при разработке своего алгоритма период контролируемого обучения. Так взрослые помогают детям освоить навыки, которые сами взрослые уже освоили. Человек как биологический вид развивается потому, что мы накапливаем знания и передаем их следующим поколениям образом гораздо более эффективным по сравнению с их первоначальным обретением. Чтобы добраться до переднего края математических исследований, мне не нужно самостоятельно открывать всю предыдущую математику заново. Вместо этого я учусь несколько лет в университете, проходя через века математических открытий по ускоренному маршруту.
Программа AlphaGo начала с прохождения такого же процесса. Люди уже сыграли в го миллионы партий, которые были записаны, оцифрованы и доступны в Сети. Эти записи дают замечательный материал, который компьютер может исследовать, выделяя ходы, давшие преимущество победителю. Такая большая база данных позволяет компьютеру оценить вероятность успешности всех возможных ходов в конкретных вариантах расположения камней на доске. Когда рассматриваются все возможные варианты развития конкретной партии, данных немного, но такой анализ создает хорошую основу для обучения игрока, хотя его будущий противник может не пойти по тому же пути, по которому пошла проигравшая сторона в партии, занесенной в базу данных, и именно поэтому одного лишь изучения этого массива данных было недостаточно.
В долговременной перспективе алгоритму обеспечила преимущество вторая фаза обучения – так называемое обучение с подкреплением. На этом этапе компьютер начал играть сам с собой, обучаясь на каждой следующей сыгранной партии. Когда какие-либо ходы, казавшиеся заведомо выигрышными, не давали нужного результата, алгоритм изменял уровень вероятности того, что такой ход принесет победу. Обучение с подкреплением генерирует огромный массив новых, искусственно созданных игровых данных. А игра с самим собой дает алгоритму возможность выявить собственные слабые стороны.
Одна из опасностей обучения с подкреплением состоит в том, что оно может быть ограниченным и замкнутым. Машинное обучение чем-то похоже на попытки взобраться на вершину Эвереста. Если ваши глаза завязаны, вы не знаете, куда движетесь, а вас просят подняться на самый высокий пик, одна из возможных стратегий сводится к передвижению маленькими шагами, позволяющими определить, увеличивается ли высота при шаге в том или ином направлении.
Эта стратегия рано или поздно приведет вас в самую высокую точку окружающей местности. Любое движение из этой точки будет движением вниз. Но это не значит, что, спустившись ниже, вы не обнаружите, что по другую сторону долины есть другой, гораздо более высокий пик. В этом и заключается проблема так называемых локальных максимумов – пиков, на которых вам кажется, что вы забрались на самый верх, но которые на самом деле представляют собой всего лишь крошечные бугорки, окруженные гигантскими горами. Что, если программа AlphaGo оптимизировала свою игру, ориентируясь на победу над игроками такого локального максимума?
Казалось, что именно так и обстояло дело, когда европейский чемпион Фань Хуэй за несколько дней до матча против Ли Седоля обнаружил изъян в игре AlphaGo. Но, как только алгоритм познакомился с новым типом игры, он быстро научился переоценивать свои ходы так, чтобы снова максимизировать шансы на победу. Новый противник заставил алгоритм спуститься с холма и найти путь к новым вершинам.
Сейчас у DeepMind есть еще более совершенный алгоритм, способный разгромить первоначальную версию AlphaGo. Этому алгоритму не нужно было показывать, как играют в го люди. Как и алгоритм, игравший на приставке Atari, он видел массив пикселей размером 19 × 19 и счет в игре и начал играть, экспериментируя с разными ходами. Он использовал возможности обучения с подкреплением, которое было второй стадией создания AlphaGo. Новый алгоритм обучался почти с чистого листа, и даже сами сотрудники DeepMind были поражены его силой. Он уже не был ограничен тем, как мыслят и играют люди.
Через трое суток обучения, в рамках которого алгоритм сыграл сам с собой 4,9 млн партий, он смог выиграть у того варианта AlphaGo, который победил Ли Седоля, сто партий из ста. Всего за три дня он добился того, на что у человечества ушли три тысячи лет. К сороковому дню он стал непобедимым. Еще за восемь часов он сумел научиться играть в шахматы и сёги (японскую игру, аналогичную шахматам), причем дошел до такого уровня мастерства, что победил две из лучших имеющихся на рынке шахматных программ. Этот пугающе разносторонний алгоритм получил название AlphaZero.
Ведущий исследователь этого проекта Дэвид Силвер объяснил, какое значение может иметь подобное обучение с чистого листа в разных областях:
Если вы можете реализовать обучение с чистого листа, вы на самом деле получаете систему, которую можно перенести из игры в го в любую другую область. Вы освобождаетесь от конкретики той области, в которой вы работаете, и получаете алгоритм, настолько универсальный, что его можно использовать где угодно. С нашей точки зрения смысл AlphaGo – не в победе над человеком, а в выявлении сути научной работы, в создании программы, которая может самостоятельно выяснить, что такое знание.
Цель DeepMind – «решить загадку интеллекта… а затем и все остальные загадки». Сотрудники этой компании считают, что они на верном пути. Но насколько далеко может зайти эта технология? Сможет ли она сравниться с творческим потенциалом лучших математиков? Сможет ли она создавать произведения искусства? Писать музыку? Разгадать человеческий код?
7
Раскрашивание по клеточкам
Непредсказуемое и предопределенное
сочетаются, и всё получается, как в жизни[35].
Несколько лет назад субботним днем я зашел в галерею «Серпентайн»[36] и буквально остолбенел. Наверное, именно к этому чувству духовного опьянения мы и стремимся, входя в музей. Мои спутники пытались заговорить со мною, но я шел по залам, одержимый тем, что я увидел.
В галерее была выставлена серия работ Герхарда Рихтера под названием 4900 Farben[37]. «Неужели ты никогда не слышал о Герхарде Рихтере? – недоверчиво спросила меня жена, когда мы ехали на поезде в город. – А ведь он – один из самых знаменитых ныне живущих художников в мире». Большую часть времени я полностью погружен в абстрактную вселенную математики, так что мое невежество по части изобразительного искусства часто приводит ее в отчаяние. Однако проект Рихтера был непосредственно связан с тем миром, в котором я существую.
Его работа состоит из 196 панно, каждое из которых представляет собой панель размером 5 ×5 квадратов. Каждый квадрат закрашен одним из 25 тщательно подобранных цветов. Следовательно, всего раскрашенных квадратов 4900, что и дало название выставке. У Рихтера есть несколько вариантов демонстрации этих картин. На выставке в галерее «Серпентайн» он представил вариант № 2, в котором 196 панно были развешаны блоками по четыре, то есть было сорок девять картин, каждая из которых состояла из 100 = 10 × 10 цветных квадратов[38].
Зритель, глядящий на эти пиксельные панно, испытывает естественное желание найти в таком собрании квадратов какой-то смысл. Я поймал себя на том, что пристально смотрю на три желтых квадрата, выстроившиеся в линию на одном из блоков 10 ×10. Мы запрограммированы искать закономерности, пытаться найти логику в окружающем нас хаотическом мире. Именно это спасало нас от съедения хищниками, прятавшимися в кустах. Вон та желтая полоска может быть ничем, однако она вполне может оказаться львом. Многие психологи – например, Юнг, Роршах или Матте Бланко – считали, что наш разум настолько сильно жаждет смысла, закономерности и симметрии, что при помощи таких изображений можно добраться до человеческой души. Юнг предлагал своим пациентам рисовать мандалы, а Роршах исследовал сознание своих пациентов при помощи симметричных чернильных пятен.
Стремление замечать закономерности находится в самом сердце работы математика, и мой мозг работал на полную мощность, стараясь расшифровать то, что я видел. Попадались интересные сочетания квадратов, которые, казалось, образовывали осмысленные формы. Бродя по галерее от одного панно к другому, я начал задумываться, не скрыто ли за этими изображениями нечто иное.
Я подсчитал, сколько раз я встречаю на одной панели два квадрата одного цвета, расположенные вместе, а затем – несколько более редкие случаи появления линий из трех или четырех квадратов одного и того же цвета. Собрав эти данные, я сел и принялся вычислять, какой картины следовало бы ожидать, если бы расположение пикселей было совершенно случайным. Случайным процессам свойственно создавать неожиданные комбинации элементов. Поэтому, когда вы ждете автобуса, вы часто попадаете в большой перерыв, после которого на остановку приезжают сразу три красных автобуса[39]. Хотя автобусы выезжают на маршрут по расписанию, плотность уличного движения вскоре вносит во время их прибытия к тем или иным точкам элемент случайности.
Я начал подозревать, что появление той тройки желтых квадратов, которую я заметил ранее, было результатом не осознанного выбора, а случайного процесса, использованного при создании этих произведений. Если имеется выбор из 25 цветов и цвет каждый раз выбирается случайным образом, то можно вычислить, в скольких строках встретятся два квадрата одного и того же цвета, расположенные друг рядом с другом. Чтобы рассчитать это число, нужно представить себе противоположную ситуацию. Предположим, я хочу, чтобы первый квадрат был красным. Вероятность того, что соседний с ним квадрат будет другого цвета, равна 24/25, так как я должен избегать красного. Вероятность того, что цвет третьего квадрата будет отличным от предыдущего, тоже равна 24/25. Значит, вероятность получения строки из десяти цветов, в которой не будет двух соседних квадратов одного и того же цвета, равна:
(24/25)9 = 0,69.
Это означает, что на любом панно размером 10 ×10 квадратов должны быть три строки (и три столбца), содержащие два соседних квадрата одного цвета. И действительно, представленные на выставке картины соответствовали этому предположению.
Из моих вычислений следовало, что среди 49 ×10 представленных на выставке строк должны найтись шесть с тремя одноцветными квадратами подряд – то же справедливо и для столбцов. На этот раз я обнаружил, что для столбцов мое предсказание выполнялось, а строк с такими тремя квадратами оказалось больше. Но в этом и состоит суть случайности. Это не точная наука.
Потом, уже после выставки, я решил узнать побольше о методах Рихтера и выяснил, что цвета действительно выбирались случайным образом. Он клал квадраты 25 цветов в мешок и определял, какой цвет использовать следующим, наудачу вытягивая очередной квадрат из мешка. Так и были созданы 196 полотен, выставленные в галерее «Серпентайн». Можно подсчитать, что суммарное число разных возможных полотен равно 2525. Это тридцатишестизначное число! Если выложить все эти полотна в ряд, его длина составит 4,3 ×1031 км, что значительно превышает размеры видимой Вселенной.
Жена моя, наверное, пожалела, что повела меня в галерею «Серпентайн». После этого я в течение многих дней был одержим расчетами совпадений в картинах. Мало того, поскольку на выставке была показана только одна из возможных комбинаций полотен, я остро заинтересовался числом возможных других вариантов. В варианте № 1 все полотна были объединены в одно огромное пиксельное изображение размером 70 × 70 квадратов. Но сколькими другими способами можно было бы их расположить? Как выяснилось, ответ на этот вопрос был связан с одним уравнением, которое заинтриговало великого математика XVII века Пьера де Ферма.
Я не устоял перед искушением послать плоды своих размышлений директору галереи «Серпентайн» Хансу Ульриху Обристу. Через некоторое время я получил письмо от Рихтера: он спрашивал разрешения перевести мои мысли на немецкий и опубликовать их вместе с его изображениями в книге, над которой он работал. По его словам, он и не подозревал, какое множество математических уравнений бурлит за созданными им произведениями.
Похожий метод использовался Рихтером и при разработке витражных окон для трансепта Кельнского собора. Однако в соборе был добавлен элемент симметрии, потому что при создании группы из шести окон Рихтер повторил три окна, спроектированные случайным образом, дважды. Их симметрия неочевидна, но она, возможно, играет на пристрастии нашего мозга к закономерностям так же, как чернильные пятна Роршаха.
При создании своей работы Рихтер в некотором смысле применял код. Не принимая решения о том, какой цвет он будет использовать, и положившись на волю случайного перемешивания квадратов в мешке, он перестал контролировать результат. Между рамками работы, созданными художником, и ее исполнением, уже не зависящим от его воли, возникает в этом случае любопытное противоречие.
Такое использование случайности было одной из главных стратегий в некоторых из первых попыток создания творческих алгоритмов, программ, способных удивить своих собственных программистов. Проблема заключается в изобретении способа пройти тест Лавлейс. Как создать нечто новое, неожиданное, ценное и в то же время выходящее за пределы того, что автор кода изначально вкладывает в него? Идея комбинирования детерминистического алгоритма с малой долей случайности – как сделал Рихтер – давала потенциальную возможность найти выход из дилеммы Ады Лавлейс.
А зачем вообще использовать компьютеры в создании произведений искусства? В чем смысл? Разве искусство не должно быть излиянием человеческого кода? Зачем заставлять компьютер искусственно производить искусство? Нет ли тут коммерческого интереса? Не пытаются ли художники зарабатывать таким образом деньги – просто нажимаешь на кнопку «печать» и получаешь бесконечный поток новых произведений? Или же речь идет о новом средстве, которое должно расширить границы нашего собственного творчества? Почему мы, люди, создаем произведения искусства? Почему работа Рихтера считается произведением искусства, а каталог красок фирмы Dulux – нет? Знаем ли мы, что это такое – то, что мы называем искусством? С чего все это началось?
Хотя род человеческий появился в Африке еще 6 млн лет назад, следы творчества мы видим только начиная со времени возникновения первых орудий. Камни, обработанные для создания режущих орудий, начали появляться 2,6 млн лет назад, но это грандиозное нововведение, по-видимому, не породило заметного подъема творческой деятельности. Судя по всему, стремление человечества к созданию произведений искусства возникло 100 000 лет назад. Среди археологических находок, сделанных в пещере Бломбос в Южной Африке, были обнаружены предметы, принадлежавшие, как считают археологи, к наборам для изготовления красок. Неясно, для чего именно люди использовали краски в то время – для раскраски собственных тел? Для нанесения узоров на кожаные изделия и другие предметы? Может быть, даже для настенной росписи? В этих южноафриканских пещерах, условия которых не были идеальными для сохранения наскальной живописи, не осталось ничего.
Но некоторые пещеры в других частях света, находящиеся глубже под землей, сохранили образцы самых ранних изображений, созданных человеком. Изображения рук встречаются на стенах поразительно большого числа таких пещер. По данным исследований, в пещерах близ города Марос на индонезийском острове Сулавеси есть изображения, созданные человеком 40 000 лет назад. Считается, что художник выдувал красную охру изо рта, используя собственную руку в качестве трафарета. Когда он убирал руку, на камне оставался ее силуэт.
Это изображение было экзистенциальным высказыванием. Как сказал в своем знаменитом телесериале «Возвышение человечества»[40] Джейкоб Броновски: «Отпечаток руки говорит: “Это моя метка. Это человек”».
Помимо рук мы находим там человеческие фигурки и изображения диких копытных животных, которые встречаются только на этом острове. Возраст одного рисунка свиньи обоснованно оценивается по меньшей мере в 35 400 лет: он считается старейшим фигуративным изображением в мире. Ученые определяют возраст этих изображений по датировке кальцитовой корки, наросшей поверх них. Поскольку корка образовалась после создания изображений, этот материал дает верхнюю границу возраста самих произведений. 40 000 лет назад случилось нечто, положившее начало периоду устойчивых инноваций у рода человеческого.
Однако может оказаться, что по части создания первых примеров пещерной живописи человека разумного опередили неандертальцы. Раньше считалось, что изображения рук в пещерах Испании относятся к тому периоду, когда представители вида
Кое-кто может сказать, что это нельзя считать искусством. И тем не менее, по-видимому, ясно, что появление этих произведений отмечает в процессе эволюции важный момент, когда биологический вид начал намеренно оставлять следы, вероятно выходящие за рамки простого утилитарного назначения. Попытки воспроизвести некоторые образцы резьбы по кости, выполненные 40 000 лет назад, показывают, какое ошеломляющее количество труда было затрачено на их создание. Такое расточительство со стороны племени, занятого охотой и выживанием, показывает, что резьба считалась настолько ценной, что ее автора имело смысл освободить от повседневных обязанностей. Мы никогда не узнаем, с какой целью на самом деле создавались эти произведения. Орнамент могли наносить на ракушки для изготовления подарка, который должен был произвести впечатление на партнера, или чтобы пометить собственность, но в любом случае именно эта деятельность впоследствии развилась в присущую нашему виду страсть к художественному самовыражению.
Вопрос о том, что же представляет собой искусство, занимает человечество уже многие столетия. Определение искусства, которое Платон дал в диалоге «Государство», было весьма пренебрежительным. Искусство есть представление физического объекта, который, в свою очередь, есть представление абстрактного идеального объекта. По мнению Платона, произведение искусства – это зависимое и несовершенное подражание физическому объекту, который оно воспроизводит, а тот – зависимое и несовершенное подражание чистой форме. В таком определении искусство не способно порождать знания и истину, а может только приводить к иллюзиям.
Кант определяет его следующим образом: «…искусство есть способ представления, сам по себе целесообразный, который хотя и лишен цели, тем не менее поднимает культуру душевных сил для общения между людьми»[41]. Толстой подхватил эту идею общения, заявив, что искусство «есть необходимое для жизни и для движения к благу отдельного человека и человечества средство общения людей, соединяющее их в одних и тех же чувствах»[42]. Произведения искусства, от пещер Альта-миры до галереи «Серпентайн», обладают способностью объединять отдельных людей в группу, выявляя созвучия нашего человеческого кода с кодом другого человека.
Для Витгенштейна искусство – это часть языковых игр, образующих центральный элемент его философии языка. Все они являются попытками проникнуть в непроницаемое – разум другого. Когда и если мы сумеем создать разум в машине, созданные им произведения искусства дадут нам увлекательный способ постижения того, как машина ощущает свое существование. Но пока что мы далеки от создания кода, обладающего сознанием.
В конечном счете искусство есть выражение свободной воли человека, и, пока компьютеры не обзаведутся чем-то подобным, в произведениях искусства, созданных компьютером, всегда можно будет проследить проявления человеческого желания творить. Даже если программа приводится в действие некими ключевыми словами, которые она видит в твиттере, нельзя сказать, что алгоритм самостоятельно решил, что он должен прореагировать на них. Эта реакция была запрограммирована в алгоритме его автором. Желание творить по-прежнему сохраняется в разуме человека, даже если этот разум не знает, когда именно будет произведен сам акт творчества.
Однако современные взгляды на искусство ставят под сомнение, представляет ли оно вообще что-либо. Не большее ли отношение оно имеет к политике, власти и деньгам? Те, кто называет нечто произведением искусства, дают определение искусству. Если Ханс Ульрих Обрист решит выставить в галерее «Серпентайн» некую коллекцию работ, то благодаря тому авторитетному положению, которое он занимает в мире искусства, многие воспримут эти произведения так, как, возможно, не восприняли бы без метаданных одобрения этих объектов куратором.
Современное искусство во многом предполагает восприятие уже не эстетики и мастерства Рембрандта, Леонардо и им подобных, а интересного высказывания художника о наших отношениях с миром и его взгляда на эти отношения. Дюшан устанавливает писсуар в выставочном зале – и контекст превращает утилитарный объект в заявление о сущности искусства. Джон Кейдж предлагает своей аудитории прослушать 4 минуты и 33 секунды тишины – и мы внезапно задумываемся о том, что такое музыка. Мы начинаем прислушиваться к звукам, проникающим извне, и по-новому воспринимаем их. Произведение Роберта Барри – выполненная карандашом на стене надпись печатными буквами, гласящая: «Все то, что я знаю, но о чем прямо сейчас не думаю, – 13:36, 15 июня 1969 года»[43], – заставляет зрителя разбираться с идеей отсутствия и неоднозначности. Даже работа Рихтера 4900 Farben на самом деле не имеет отношения к эстетике или его мастерству в области раскрашивания квадратов. Это политическое высказывание, бросающее вызов нашим идеям о намеренности и случайности.
Бросает ли аналогичный политический вызов искусство, создаваемое компьютерами? Если шутка показалась вам смешной, что изменится, если потом вам скажут, что эту шутку создал алгоритм? Вы над ней посмеялись – и этого достаточно. Почему же то же неприменимо к другим эмоциональным реакциям? Если какое-то произведение искусства вызовет у вас слезы, а потом вам скажут, что оно создано компьютером, я подозреваю, что большинство почувствует себя жертвой обмана или манипуляции. Но потом возникает вопрос: действительно ли мы устанавливаем связь с разумом другого человека – или же просто исследуем неизведанные территории своего собственного разума? В этом и состоит трудность познания чужого разума. В нашем распоряжении есть только то, что разум выдает вовне, так как по-настоящему заглянуть внутрь чужого разума мы никак не можем.
Поделиться книгой: