Как мы учимся. Почему мозг учится лучше, чем любая машина… пока

Вернемся к охотнику, которому нужно отрегулировать оптический прицел своего ружья. Процедура обучения элементарна. Охотник стреляет и обнаруживает, что взял на пять сантиметров правее. Теперь он располагает важной информацией как об амплитуде (пять сантиметров), так и о характере ошибки (смещение вправо). Эти сведения дают ему возможность скорректировать следующий выстрел. Если охотник умный, он быстро сообразит, как исправить ситуацию: если пуля отклонилась вправо, необходимо сдвинуть прицел чуть влево. А если он не настолько проницателен, он может выбрать другую мишень и проверить, что произойдет, если прицелиться правее. Таким образом, путем проб и ошибок охотник рано или поздно обнаружит, какие именно манипуляции с прицелом уменьшают отклонение пули от намеченной цели.

Меняя положение прицела, наш храбрый охотник применяет алгоритм научения, хотя сам этого не осознает. Он имплицитно вычисляет то, что математики называют «производной» системы, или ее градиентом, и использует «метод градиентного спуска». Иными словами, охотник учится смещать видоискатель ружья в направлении, уменьшающем вероятность ошибки.

Несмотря на миллионы входов, выходов и регулируемых параметров, большинство искусственных нейросетей, используемых в современном искусственном интеллекте, действуют точно так же, как наш охотник: они анализируют свои ошибки и на их основе корректируют свое внутреннее состояние в направлении, которое должно эти ошибки уменьшить. Во многих случаях такое обучение строго контролируется. Мы сообщаем сети, какой именно ответ она должна была выдать на выходе («Это 1, а не 7»), и точно знаем, в каком направлении необходимо корректировать параметры, если они привели к ошибке (математические вычисления позволяют определить, какие именно связи следует модифицировать, если в ответ на изображение цифры 1 сеть слишком часто дает на выходе 7). На языке машинного обучения это называется «обучением с учителем» (поскольку некто знает правильный ответ, который должна дать система) и «обратным распространением ошибки» (поскольку сигналы об ошибке отправляются обратно в сеть для изменения ее параметров). Процедура проста: я пробую ответить, мне сообщают правильный ответ, я определяю свою ошибку и корректирую параметры, чтобы впредь этой ошибки не совершать. На каждом этапе я делаю лишь небольшие поправки в нужном направлении. Вот почему такое обучение может протекать крайне медленно: в ходе овладения сложным видом деятельности вроде игры в Tetris данный цикл необходимо повторить тысячи, миллионы, даже миллиарды раз. Это и неудивительно: в пространстве с множеством регулируемых параметров поиски оптимальных настроек для каждой гайки и болта могут занять некоторое время.

Данный принцип постепенной коррекции ошибки был реализован уже в самых первых искусственных нейросетях, созданных в 1980-х годах. Достижения в области вычислительной техники позволили распространить эту идею на гигантские нейронные сети, включающие сотни миллионов регулируемых соединений. Эти глубокие нейросети состоят из последовательностей этапов, каждый из которых адаптируется к текущей задаче. Например, на цветной иллюстрации 4 представлена система GoogLeNet на основе архитектуры LeNet. Последняя была предложена Яном Лекуном и выиграла один из самых престижных международных конкурсов по распознаванию образов. Анализируя миллиарды изображений, система научилась распределять их на тысячи различных категорий: лица, пейзажи, лодки, автомобили, собаки, насекомые, цветы, дорожные знаки и так далее. Каждый уровень ее иерархии настроен на некий важный аспект реальности: например, нейроны низших уровней избирательно реагируют на линии и текстуры. Чем выше уровень, тем больше нейронов учится реагировать на сложные признаки: геометрические фигуры (круги, кривые, звезды), части объектов (карман брюк, ручку автомобильной двери, пару глаз) и даже целые объекты (здания, лица, пауков)7.

Стараясь минимизировать ошибки, алгоритм градиентного спуска обнаружил, что эти формы лучше всего подходят для классификации образов. Однако, если бы та же самая сеть получала на входе отрывки из книг или нотные листы, она бы настроилась иначе и научилась распознавать буквы, ноты или любые другие фигуры, распространенные в новой среде. Например, на цветной иллюстрации 3 показано, как сеть такого типа самоорганизуется для распознавания тысяч рукописных цифр8. На самом низком уровне данные смешаны: одни изображения внешне похожи, но представляют собой разные цифры (скажем, 3 и 8); другие, наоборот, выглядят по-разному, но в действительности обозначают одно и то же (цифру 8, например, каждый пишет по-своему – у кого-то верхний контур замкнут, у кого-то не замкнут и т.д.). На каждом этапе степень абстракции возрастает, пока все варианты одного и того же знака не будут сгруппированы вместе. Посредством процедуры сокращения ошибок искусственная сеть обнаруживает иерархию признаков, наиболее важных для распознавания рукописных цифр. Примечательно, что само по себе исправление ошибок позволяет обнаружить целый ряд подсказок, облегчающих решение поставленной задачи.

Концепция обучения путем обратного распространения ошибки лежит в основе многих современных компьютерных приложений. Это рабочая лошадка, благодаря которой смартфон умеет распознавать ваш голос, а умный автомобиль – «видеть» пешеходов и дорожные знаки. Весьма вероятно, что наш мозг тоже использует ту или иную ее версию. Впрочем, метод обратного распространения ошибки может принимать разные формы. За последние тридцать лет в области искусственного интеллекта достигнут невероятный прогресс; исследователи обнаружили множество приемов, облегчающих обучение. Ниже мы рассмотрим их более подробно – оказывается, они многое могут рассказать о нас самих и о том, как мы учимся.

Научение – это исследование пространства возможностей

Одна из проблем, связанных с описанной выше процедурой коррекции ошибок, заключается в том, что система может зациклиться на неоптимальных параметрах. Представьте мяч для гольфа, который всегда катится под уклон. Допустим, прямо сейчас он движется по склону холма. Если в какой-то момент он попадет в ямку или в углубление, то уже никогда не достигнет его подножия – низшей точки ландшафта, абсолютного оптимума. Нечто подобное может случиться и с алгоритмом градиентного спуска, который иногда застревает в точке «локального минимума». «Локальный минимум» – своеобразный колодец в пространстве параметров, ловушка, из которой нельзя выбраться. Как только это происходит, обучение останавливается, ибо все последующие изменения кажутся контрпродуктивными: любое из них лишь увеличивает частоту ошибок. Система чувствует, что научилась всему, чему могла, и слепо игнорирует настройки высшего уровня, хотя те могут находиться всего в нескольких шагах в пространстве параметров. Алгоритм градиентного спуска не «видит» их, ибо отказывается подняться наверх, чтобы опуститься еще ниже. Близорукий, он отваживается отойти только на небольшое расстояние от начальной точки, а потому может не заметить лучшие, но удаленные конфигурации.

Это кажется вам слишком абстрактным? Представим конкретную ситуацию: вы идете за покупками на рынок, где хотите купить продукты подешевле. Вы минуете первого продавца (цены у него явно завышены), обходите второго (у него слишком дорого) и, наконец, останавливаетесь около третьего. У третьего продавца товар гораздо дешевле, чем у двух предыдущих. Но кто поручится, что в конце прохода или, возможно, в соседнем городе цены не окажутся еще ниже? Иначе говоря, понятия «лучшая местная цена» и «глобальный минимум» не всегда означают одно и то же.

На такой случай у специалистов в области вычислительной техники припасен целый арсенал хитроумных приемов. Большинство состоит в том, чтобы ввести в поиск лучших параметров элемент случайности. Идея проста: вместо того чтобы двигаться на рынке по одному-единственному проходу, разумнее выбрать более хаотичный маршрут; вместо того чтобы позволить мячу для гольфа спокойно катиться вниз по склону, следует придать ему ускорение, тем самым уменьшив вероятность того, что он застрянет в ямке. Иногда алгоритмы стохастического поиска пробуют удаленные и частично случайные настройки: если лучшее решение находится в пределах досягаемости, шансы рано или поздно найти его достаточно велики. На практике ввести некоторую степень случайности можно самыми разными способами: задавая или обновляя параметры хаотичным образом, внося разнообразие в порядок примеров, добавляя шум к данным или используя только случайный набор связей. Все это повышает надежность обучения.

Некоторые алгоритмы машинного обучения черпают вдохновение из дарвиновского алгоритма, который управляет эволюцией видов: в ходе оптимизации параметров они вводят мутации ранее обнаруженных решений. Как и в биологии, скорость этих мутаций должна тщательно контролироваться; это позволяет машине исследовать новые решения, не тратя слишком много времени на разного рода «авантюры».

В основе другого алгоритма лежит отжиг – один из видов термической обработки, которым издавна пользовались кузнецы и ремесленники для оптимизации свойств металла. Метод отжига позволяет получить исключительно прочный клинок и состоит в многократном нагревании сплава при постепенно понижающихся температурах. Это повышает вероятность того, что атомы займут правильное положение. Недавно суть этого процесса была успешно перенесена в информатику: алгоритм имитации отжига вносит случайные изменения в параметры при постепенном понижении виртуальной «температуры». Вероятность случайного события высока в начале, а затем начинает снижаться, пока система не достигает оптимальной конфигурации.

Ученые обнаружили, что все эти приемы чрезвычайно эффективны – а значит, не исключено, что в ходе эволюции некоторые из них были «встроены» в наш мозг. Случайный поиск, стохастическое любопытство и зашумленные нейроны – все это играет важную роль в научении у Homo sapiens. И в игре «камень, ножницы, бумага», и в джазовой импровизации, и в анализе возможных решений математической задачи случайность есть один из важнейших компонентов решения. Как мы увидим ниже, всякий раз, когда дети переходят в режим обучения – то есть когда они играют, – они исследуют десятки возможностей, причем зачастую делают это беспорядочно, наобум. Ночью их мозг продолжает жонглировать идеями, пока не натыкается на ту, которая лучше всего объясняет пережитое в течение дня. В третьей части этой книги мы еще вернемся к полуслучайному алгоритму, который отвечает за ненасытное любопытство детей – и тех счастливых взрослых, которым удалось сохранить ум ребенка.

Научение – это оптимизация функции вознаграждения

Помните систему LeNet Лекуна, которая распознает формы цифр? Чтобы этот тип искусственной нейросети мог учиться, его необходимо обеспечить правильными ответами. Иными словами, сеть должна знать, какой из десяти возможных цифр соответствует каждое введенное изображение. Для исправления ошибок система должна вычислить разницу между своим и правильным ответами. Данная процедура получила название «обучения с учителем»: некто вне системы знает решение и пытается научить машину. Метод достаточно эффективный, однако следует отметить, что ситуация, в которой правильный ответ известен заранее, – большая редкость. Когда дети учатся ходить, никто не говорит им, какие именно мышцы нужно сокращать; их просто поощряют пробовать снова и снова, пока они не перестают падать. Другими словами, малыши учатся исключительно на основе оценки результата: я упал или же мне удалось наконец пересечь комнату.

С той же проблемой «обучения без учителя» сталкивается и искусственный интеллект. Например, когда машина учится играть в видеоигру, перед ней ставят одну-единственную задачу – набрать максимальное количество очков. Никто не говорит ей, какие именно действия необходимо для этого предпринять. Как же быть? Как машине самостоятельно найти эффективный и быстрый способ достичь поставленной цели?

«Очень просто», – сказали ученые и придумали так называемое «обучение с подкреплением», в рамках которого мы не сообщаем системе никаких подробностей о том, что она должна делать (этого никто не знает!), но определяем «награду» – например, в виде количества очков9. Что еще хуже, машина может узнавать это количество с задержкой, уже после совершения тех или иных действий. Обучение на основе отложенного подкрепления – принцип, на базе которого DeepMind, дочерняя компания Google, построила машину, способную играть в шахматы, шашки и го. В конце партии система получает один-единственный сигнал, свидетельствующий о выигрыше или проигрыше. Во время самой игры обратная связь отсутствует – засчитывается лишь окончательная победа над соперником. Как же тогда машине определить, что нужно делать? И, если уж на то пошло, как она может оценить свои действия, если известен только исход игры?

Ученые нашли хитрое решение. Они программируют машину так, чтобы она делала сразу две вещи: действовала и одновременно оценивала собственный прогресс. Одна половина системы, так называемый «критик», учится предсказывать конечный результат. Цель этой сети искусственных нейронов заключается в том, чтобы как можно точнее оценить состояние игры и предсказать ее исход: я выигрываю или проигрываю? Благодаря «внутреннему критику» система способна оценивать свои действия в любой момент времени, а не только в конце. На основании этой оценки другая половина машины, «актор» (собственно, «исполнитель»), корректирует свое поведение: пожалуй, мне не стоит делать то-то и то-то – «критик» считает, что это увеличит мои шансы на проигрыш.

Испытание за испытанием «актор» и «критик» работают в тандеме: один учится выбирать наиболее эффективные действия, другой – как можно точнее оценивать их последствия. Спустя некоторое время – в отличие от того парня из анекдота, который падает с небоскреба и на лету восклицает: «Пока все хорошо!» – сеть «актор – критик» обретает невероятную прозорливость: способность предсказывать, какие партии скорее всего будут выиграны, а какие неизбежно закончатся катастрофой.

Комбинация «актор – критик» – одна из самых эффективных стратегий современного искусственного интеллекта. При поддержке иерархической нейронной сети она буквально творит чудеса. Еще в 1980-х годах эта система выиграла чемпионат мира по нардам, а недавно позволила DeepMind создать многофункциональную нейронную сеть, способную играть в разного рода видеоигры вроде Super Mario или Tetris10. Достаточно задать пиксели изображения в качестве входных данных, возможные действия в качестве выходных данных и очки в качестве функции вознаграждения. Всему остальному машина научится сама. Играя в Tetris, она обнаружит, что на экране отображаются разные фигуры, что падающая фигура важнее остальных, что те или иные действия могут изменить ее ориентацию и положение в пространстве и так далее, – а затем выработает оптимальную тактику. В Super Mario изменения входных данных и вознаграждений учат машину обращать внимание на совершенно иные параметры: какие пиксели образуют тело Марио, как он движется, где находятся враги, как выглядят стены, двери, ловушки, бонусы… и как себя вести рядом с ними. Регулируя свои настройки – то есть миллионы связей, соединяющих слои, – сеть может адаптироваться ко всем типам игр и научиться распознавать формы Tetris, Pac-Man или Sonic the Hedgehog.

Но зачем учить машину играть в видеоигры? Два года спустя инженеры DeepMind использовали соответствующие наработки для решения жизненно важной экономической задачи: как Google оптимизировать управление своими компьютерными серверами? Искусственная нейронная сеть осталась прежней; изменились лишь входные данные (дата, время, погода, международные события, поисковые запросы, количество людей, подключенных к каждому серверу, и т.д.), выходные данные (подключение или отключение того или иного сервера на разных континентах) и функция вознаграждения (экономия энергии). Результат – мгновенное снижение энергопотребления. В итоге компания Google сократила расходы на электроэнергию на 40 процентов и сэкономила десятки миллионов долларов – а ведь оптимизировать эти самые серверы пытались сотни специалистов! Искусственный интеллект, в самом деле, достиг таких высот, что способен перевернуть вверх дном целые отрасли.

Кстати, DeepMind совершала и другие подвиги. Как всем, наверное, известно, ее программе AlphaGo удалось победить Ли Седоля – восемнадцатикратного чемпиона мира по игре в го, до недавнего времени считавшейся Эверестом искусственного интеллекта11. В го играют на огромной квадратной доске – гобане – размером 19х19 клеток (всего 361 клетка) черными и белыми камнями. Количество комбинаций настолько велико, что систематически проанализировать все будущие ходы, доступные каждому игроку, невозможно. И все же обучение с подкреплением позволило программе AlphaGo распознавать благоприятные и неблагоприятные комбинации лучше, чем любому живому игроку. Как ей это удалось? Разработчики, в частности, заставляли систему играть против самой себя, подобно тому как тренируется шахматист, одновременно играя и белыми, и черными. Идея проста: в конце каждой партии победившая программа усиливает свою тактику, а проигравшая ослабляет, при этом обе учатся более эффективно оценивать свои ходы.

Мы с удовольствием посмеиваемся над Мюнхгаузеном, который в своих легендарных «Приключениях» пытается вытащить себя из болота за волосы. В искусственном интеллекте, однако, безумный метод эксцентричного барона породил довольно сложную стратегию «самонастройки», или бутстрэппинга: шаг за шагом, начиная с бессмысленной архитектуры, лишенной всяких знаний, искусственная нейронная сеть становится чемпионом мира, просто играя сама с собой.

Ускорение обучения за счет обеспечения сотрудничества двух сетей – или, наоборот, их конкуренции – важный прорыв в области искусственного интеллекта, который до сих пор приносит щедрые плоды. Например, одна из последних идей, так называемое «состязательное обучение»12, предполагает наличие двух противоборствующих систем: скажем, одна сеть учится распознавать картины Ван Гога, а вторая – их подделывать. Первая система получает бонус всякий раз, когда успешно идентифицирует подлинник, в то время как вторая – всякий раз, когда ей удается обмануть первую. Данный алгоритм обучения дает не один, а сразу два искусственных интеллекта: въедливого специалиста по Ван Гогу, обожающего выискивать мелкие детали, которые могут подтвердить подлинность картины, и гениального фальсификатора, чьи полотна способны ввести в заблуждение даже лучших экспертов. Такого рода обучение можно сравнить с подготовкой к президентским дебатам: многие кандидаты нанимают специальных людей, которые имитируют речь и повторяют лучшие реплики их оппонентов.

Можно ли применить такой подход к единому человеческому мозгу? Наши два полушария и многочисленные подкорковые ядра также содержат целую коллекцию экспертов, которые не только соперничают, но и сотрудничают, координируя и оценивая действия друг друга. Некоторые области нашего мозга учатся моделировать то, что делают другие; они позволяют нам «предвидеть» будущее и на удивление реалистично представить результаты наших поступков. Благодаря памяти и воображению мы легко можем увидеть море, в котором купались прошлым летом, или дверную ручку, за которую хватаемся в темноте. Некоторые области учатся критиковать: они постоянно оценивают наши способности и прогнозируют вознаграждение или наказание, которые мы можем получить. Именно эти участки подталкивают нас к действию или бездействию. Мы также увидим, что метапознание – способность к познанию самого себя, самооценке, мысленному моделированию того, что произойдет, поступи мы так или иначе, – играет фундаментальную роль в человеческом научении. Представления, которые мы формируем о себе, помогают нам добиваться успеха или в некоторых случаях вовлекают нас в замкнутый круг неудач. Таким образом, вполне уместно рассматривать мозг как совокупность сотрудничающих и конкурирующих экспертов.

Научение – это ограничение области поиска

Перед современным искусственным интеллектом по-прежнему стоит серьезная проблема: чем больше параметров имеет внутренняя модель, тем сложнее найти оптимальный способ ее настройки. Поскольку в современных искусственных нейросетях пространство поиска огромно, ученые вынуждены иметь дело с мощным комбинаторным взрывом: на каждом этапе доступны миллионы вариантов, а их комбинации настолько многочисленны, что исследовать их все просто невозможно. В результате обучение иногда протекает крайне медленно: требуются миллиарды попыток, чтобы заставить систему выбрать верное направление в океане возможностей. Любые исходные данные – даже самые подробные – становятся скудными по сравнению с гигантскими размерами имеющегося пространства. Данная проблема получила название «проклятие размерности»; проще говоря, обучение – сложная штука, если у вас есть миллионы потенциальных рычагов, на которые можно давить.

Громадное количество параметров, которыми располагают искусственные нейронные сети, ведет ко второму препятствию – «переобучению», или «переподгонке»: у системы так много степеней свободы, что ей легче запомнить детали каждого примера, чем определить общее правило, которое их объясняет.

Как метко заметил основатель современных информационных технологий Джон фон Нейман (1903–1957), «с четырьмя параметрами я могу описать слона, а с пятью – заставить его махать хоботом». Ученый имел в виду, что наличие чересчур большого количества свободных параметров может обернуться во вред: слишком велика опасность «переподгонки» данных. Хотя машина запоминает каждую деталь, это не означает, что она «поняла» нечто важное. Вы можете составить описание пахидермов, не имея никаких глубоких познаний о слонах как о виде. Наличие слишком большого количества свободных параметров препятствует абстракции. Несмотря на то что система учится легко, она не способна выполнять обобщение, то есть применять полученные знания в новых ситуациях. Тем не менее способность к обобщению является ключом к любому обучению. Какой смысл в машине, способной распознать картинку, которую она уже видела, или выиграть партию в го, в которую она уже играла? Очевидно, что конечная цель заключается в том, чтобы распознать любое изображение или выиграть у любого игрока в любых обстоятельствах – как знакомых, так и незнакомых.

Разумеется, ученые уже придумали несколько решений этой проблемы. Одним из наиболее эффективных методов, которые могут как ускорить процесс обучения, так и улучшить способность к обобщению, является упрощение модели. Когда число параметров, подлежащих корректировке, сведено к минимуму, система вынуждена искать более общее решение. Именно эта идея подтолкнула Лекуна к изобретению сверточных нейронных сетей – искусственного обучаемого устройства, которое стало эталоном в области распознавания образов13. Идея проста: чтобы распознать элементы на картинке, достаточно проделать более или менее одинаковые действия везде. Например, на фотографиях лица могут оказаться в любом месте. Чтобы распознать их, необходимо применить один и тот же алгоритм к каждой части изображения (искать овал, пару глаз и так далее). Никакой необходимости в отдельных моделях для каждой точки сетчатки нет: то, что усвоено в одном месте, может быть повторно использовано в любом другом.

В процессе обучения сверточные нейронные сети Лекуна применяют все, что им удается узнать в одной области, ко всей сети, на всех уровнях. Посему им предстоит усвоить гораздо меньшее количество параметров: по большому счету система должна отрегулировать один-единственный фильтр, который она будет применять везде, а не множество различных соединений для каждого фрагмента изображения. Этот простой трюк значительно улучшает производительность, особенно обобщение. Столкнувшись с новым изображением, алгоритм может использовать весь свой обширный опыт, полученный в результате анализа каждой точки каждой фотографии, которую он когда-либо видел. Это существенно ускоряет процесс обучения: машина исследует только подмножество моделей зрения. До начала обучения она уже знает о мире кое-что важное, а именно – что один и тот же объект может появиться в любом месте изображения.

Этот же прием работает и во многих других областях. Например, чтобы распознать речь, необходимо абстрагироваться от специфики голоса говорящего. Для этого искусственную нейронную сеть заставляют использовать одни и те же соединения в разных частотных диапазонах независимо от того, высокий голос или низкий. За счет уменьшения количества параметров, подлежащих корректировке, удается не только увеличить скорость, но и улучшить способность к обобщению. Собственно, именно благодаря этому ваш смартфон может реагировать на ваш голос.

Научение – это проецирование априорных гипотез

Стратегия Яна Лекуна – хороший пример гораздо более общего явления: использования знаний, присущих системе изначально. Сверточные нейросети учатся лучше и быстрее других типов искусственных нейронных сетей, потому что они не учатся всему. В самой их архитектуре заключена основополагающая гипотеза: то, что я узнаю в одном месте, можно обобщить и применить в других местах.

Главная проблема распознавания образов – это инвариантность: я должен распознать объект вне зависимости от его положения и размера, даже если он движется вправо или влево, ко мне или от меня. Это не только трудная задача, но и мощный ограничитель: логично предположить, что одни и те же подсказки помогут мне узнать лицо в любой точке пространства. Задействуя повсюду один и тот же алгоритм, сверточные сети эффективно используют это ограничение: они интегрируют его в саму свою структуру. Изначально, до любого обучения, система уже «знает» это ключевое свойство зрительного мира. Она не учится инвариантности, а принимает ее априори и использует для сужения учебного пространства – умно, не правда ли?

Мораль в том, что природу (наследственность) и среду не следует противопоставлять друг другу. Чистого научения в отсутствие каких-либо априорных ограничителей не существует. Любой алгоритм научения так или иначе содержит некий набор предположений об изучаемой области. Вместо того чтобы пытаться научиться всему «с нуля», гораздо эффективнее опираться на предварительные допущения, которые четко очерчивают базовые законы исследуемой области и интегрируют эти законы в саму архитектуру системы. Чем больше количество таких допущений, тем быстрее происходит научение (при условии, конечно, что эти допущения верны!). Это справедливо всегда. Например, было бы ошибочно полагать, что программа AlphaGo Zero, которая тренировалась играть в го сама с собой, возникла на пустом месте: ее первоначальное представление включало, среди прочего, знание топографии и симметрий игры, что позволило сократить пространство поиска в восемь раз.

Наш мозг тоже содержит множество допущений, причем самого разного толка. В одной из последующих глав мы убедимся, что при рождении мозг ребенка уже организован и весьма неплохо информирован. Дети имплицитно знают, что мир состоит из вещей, которые движутся, если их толкнуть, но никогда не проникают друг в друга (твердые предметы), а также из гораздо более странных сущностей, которые говорят и движутся сами по себе (люди). Специально изучать эти законы нет никакой необходимости: поскольку они верны везде, где живет человек, наш геном заранее встраивает их в мозг, тем самым существенно ускоряя процесс научения. Младенцам вовсе не приходится познавать мир «с нуля»: поскольку их мозг с самого начала изобилует врожденными ограничителями, все, что остается, – это усвоить определенные параметры, которые меняются непредсказуемо (форма лица, цвет глаз, тон голоса, индивидуальные вкусы окружающих людей и так далее).

С другой стороны, если мозг ребенка знает разницу между людьми и неодушевленными объектами, то это потому, что в определенном смысле он ей научился – не в первые дни своей жизни, но в ходе миллионов лет эволюции. Дарвиновский естественный отбор, по сути, представляет собой типичный алгоритм обучения – невероятно мощную программу, которая работала сотни миллионов лет на миллиардах обучающихся машин (под «машинами» я подразумеваю всех существ, когда-либо живших на Земле)14. Мы – наследники невероятной, бесконечной мудрости. Путем дарвиновских проб и ошибок наш геном впитал знания всех предшествующих поколений. Эти врожденные знания совсем иного типа, нежели конкретные факты, которые мы узнаем в течение жизни: они носят гораздо более абстрактный характер, ибо «программируют» наши нейронные сети уважать фундаментальные законы природы.

Вкратце, во время беременности наши гены закладывают архитектуру мозга, которая направляет и ускоряет последующее научение, ограничивая размер исследуемого пространства. На языке информатики можно сказать, что гены задают «гиперпараметры» мозга – высокоуровневые переменные, определяющие количество слоев, типы нейронов, общую форму их взаимосвязей, дублирование в сетчатке и так далее. Поскольку многие из этих переменных хранятся в нашем геноме, учиться им не нужно: наш вид усвоил их в ходе эволюционного развития.

Вывод: наш мозг – не просто пассивный приемник сенсорных импульсов. С самого начала он обладает набором абстрактных гипотез – знаниями, накопленными в результате дарвиновской эволюции и проецируемыми на внешний мир. Хотя не все ученые согласны с данной точкой зрения, я считаю ее ключевой: наивная эмпирическая философия, лежащая в основе многих современных искусственных нейросетей, ошибочна. Едва ли при рождении наши нейронные сети абсолютно дезорганизованы и лишены каких-либо знаний вообще. Такого просто не может быть. Научение – и у человека, и у машины – всегда начинается с некоего набора априорных гипотез. Эти гипотезы система проецирует на поступающие данные, а затем выбирает те, которые лучше всего согласуются с текущими условиями. Как пишет Жан-Пьер Шанжё в своей книге Neuronal Man (букв. «Человек нейронный», 1985), «учиться – значит исключать».

Глава 2

Почему наш мозг учится лучше, чем существующие машины

Глядя на последние достижения в сфере искусственного интеллекта, можно подумать, будто мы наконец-то сообразили, как скопировать и даже превзойти человеческое научение и интеллект. Согласно некоторым самопровозглашенным пророкам, машины вот-вот поработят нас. Ничто не может быть дальше от истины. На самом деле, большинство когнитивистов, несмотря на значительный прогресс в области искусственных нейронных сетей, прекрасно понимают, что возможности этих машин крайне ограниченны. По правде говоря, почти все искусственные нейронные сети осуществляют только те операции, которые наш мозг выполняет бессознательно, за несколько десятых долей секунды, – прежде всего это восприятие образа, его распознавание, классификация и установление значения15. Однако в отличие от машин наш мозг умеет не только это, он способен изучать образ сознательно, тщательно, шаг за шагом, в течение нескольких секунд. Он формулирует символические представления (репрезентации) и эксплицитные теории мира, которыми мы можем поделиться с окружающими с помощью речи.

Операции такого рода – медленные, разумные, символические – остаются исключительной привилегией нашего вида (пока). Современные алгоритмы машинного обучения их практически не воспроизводят. Несмотря на активные исследования в области машинного перевода и логики, искусственные нейронные сети часто обвиняют в том, что они пытаются изучить все на одном уровне, словно решение всех задач сводится к автоматической классификации. Для человека с молотком все похоже на гвоздь! Но наш мозг гораздо гибче. Получив информацию, он быстро расставляет приоритеты и по возможности выводит общие, логические, эксплицитные принципы.

Чего не хватает искусственному интеллекту?

Ответив на этот вопрос, мы сможем выявить уникальные характеристики человеческой способности к научению. Вот краткий и, вероятно, неполный список функций, которыми обладает даже младенец, но которые отсутствуют в большинстве современных искусственных систем.

Усвоение абстрактных понятий. Большинство искусственных нейросетей воспроизводит только самые первые стадии обработки информации – анализ изображения, который зрительные области нашего мозга осуществляют менее чем за пятую долю секунды. Алгоритмы глубокого обучения далеко не так глубоки, как утверждают некоторые. По словам Йошуа Бенжио, одного из изобретателей алгоритмов глубокого обучения, такие системы в основном схватывают поверхностные, статистические закономерности в данных, а не абстрактные понятия высокого уровня16. Например, чтобы распознать объект, алгоритмы глубокого обучения часто полагаются на те или иные очевидные особенности изображения – скажем, определенный цвет или форму. Измените эти детали – и производительность алгоритма резко упадет: современные сверточные нейронные сети не способны распознать, что составляет сущность объекта. Они не понимают, что стул остается стулом независимо от того, сколько у него ножек (четыре или только одна) или из чего он сделан (из стекла, металла или пластика). Тенденция обращать внимание на поверхностные признаки делает эти сети восприимчивыми к ошибкам. Написано множество статей о том, как обмануть нейронную сеть: возьмите банан, измените несколько пикселей или прицепите к нему определенную наклейку. Вуаля! – нейронная сеть подумает, что это тостер!

Разумеется, человек, которому показали изображение на долю секунды, иногда совершает те же промахи, что и машина, и может принять собаку за кошку17. Однако, если ему дать чуть больше времени, он тут же исправит ошибку. В отличие от компьютера мы обладаем способностью подвергнуть сомнению наши убеждения и переориентировать внимание на те аспекты образа, которые не согласуются с первым впечатлением. Этот второй анализ, сознательный и разумный, задействует наши общие способности к рассуждению и абстракции. Искусственные нейронные сети упускают из виду одну очень важную вещь: человеческое научение – это не просто настройка фильтра распознавания образов, это построение абстрактной модели мира. Например, когда мы учимся читать, мы приобретаем абстрактное представление о каждой букве алфавита, которое позволяет не только распознавать ее во всех возможных вариантах, но и генерировать новые:

Когнитивист Дуглас Хофштадтер однажды сказал, что распознать букву А – настоящая проблема для искусственного интеллекта! Данное язвительное замечание, несомненно, является сильным преувеличением, но доля истины в нем есть: даже в таком тривиальном контексте люди умело справляются с абстракциями. Этот наш дар лежит в основе одного забавного явления повседневной жизни капчи – коротенькой последовательности букв, которую просят распознать некоторые сайты, дабы убедиться, что вы человек, а не машина. Многие годы капчи успешно противостояли машинам. Но компьютерная наука развивается быстро: в 2017 году искусственной системе удалось распознать капчу почти на человеческом уровне18. Неудивительно, что этот алгоритм имитирует человеческий мозг сразу в нескольких отношениях. Совершая истинный tour de force[11], он умудряется извлечь скелет каждой буквы, внутреннюю сущность буквы А, после чего использует все ресурсы статистического мышления, чтобы проверить, применима ли эта абстрактная идея к имеющемуся образу. И все же этот компьютерный алгоритм, каким бы сложным он ни был, работает только с капчами. Наш мозг применяет способность распознавать абстракции во всех аспектах повседневной жизни.

Эффективная обработка данных. Все согласятся с тем, что современные нейронные сети обучаются слишком медленно: им требуются тысячи, миллионы, даже миллиарды элементов данных, чтобы сформировать представление об определенной области. У нас даже есть экспериментальные доказательства этой медлительности. Например, чтобы научиться приемлемо играть на консоли Atari, нейронной сети, разработанной DeepMind, необходимо минимум 900 часов, а человеку – всего 2!19 Другой пример – овладение речью. По оценкам психолингвиста Эммануэля Дюпу, в большинстве французских семей дети слышат от 500 до 1000 часов речи в год; этого более чем достаточно для усвоения языка Декарта, даже с такими мудреностями, как soixante douze («семьдесят два») или s'il vous plaît («пожалуйста»). С другой стороны, в племени цимане, населяющем север боливийской Амазонки, дети слышат только 60 часов речи в год, но это отнюдь не мешает им отлично говорить на языке цимане. Для сравнения: лучшие современные компьютерные системы от Apple, Baidu и Google требуют в 20–1000 раз больше данных, чтобы достичь даже мизерной языковой компетенции. В плане научения эффективность человеческого мозга остается непревзойденной: машины способны поглощать огромное количество информации, зато мы способны обрабатывать ее более эффективно. Иными словами, из минимума данных люди умеют извлекать максимум.

Социальное научение. Человек – единственный вид, который добровольно делится информацией: мы многому учимся у других людей благодаря речи. Данная способность до сих пор остается вне досягаемости современных искусственных нейросетей. В искусственных моделях знания зашифрованы, рассеяны в значениях сотен миллионов синаптических весов. В этой скрытой, имплицитной форме их нельзя извлечь и избирательно передать другим. Мы, напротив, можем эксплицитно сообщить другим информацию самого высокого уровня – ту, которая достигает нашего сознания. Сознательное знание неразрывно связано с возможностью его вербального выражения: всякий раз, когда мы приходим к более или менее четкому пониманию некоего явления, ментальная формула находит отклик в нашем языке мышления, и мы можем сообщить о ней окружающим с помощью речи. Необычайная эффективность, с которой человек делится своими знаниями с другими, используя минимальное количество слов («Чтобы попасть на рынок, поверните направо, на маленькую улочку за церковью»), до сих пор беспрецедентна как для животного мира, так и для мира компьютеров.

Научение с одной попытки. Ярчайший пример такой эффективности – усвоение нового материала с первой попытки. Если я употреблю новый глагол, скажем, «курдячить»[12], хотя бы один раз, вы тоже сможете его использовать. Конечно, некоторые искусственные нейросети могут запомнить мою фразу. Но что машины пока не умеют делать хорошо, так это интегрировать новую информацию в существующую сеть знаний – а человеческому мозгу это отлично удается. Вы не только запоминаете новый глагол «курдячить», но и мгновенно понимаете, как его спрягать и вставлять в другие предложения: вы часто курдячите? я курдячил вчера, а они курдячат сегодня. Когда я говорю: «Давайте покурдячим завтра» – вы не просто узнаете новое слово, вы вставляете его в обширную систему символов и правил. Например, «курдячить» – личный глагол II спряжения (я курдячу, ты курдячишь, он курдячит и т.д.). Научиться – значит успешно внедрить новые знания в существующую сеть.

Систематичность и язык мышления. Грамматические правила – лишь один из примеров необычайного таланта нашего мозга: способности обнаруживать общие законы, лежащие в основе конкретных случаев. Будь то математика, язык, наука или музыка, человеческий мозг ухитряется извлекать из них абстрактные принципы, систематические правила, которые он может вновь применить в самых разных контекстах. Возьмем, к примеру, арифметику: наша способность складывать два числа носит очень общий характер – как только мы научились этой процедуре на малых числах, мы без труда можем применить ее к произвольно большим числам. Но главное – мы умеем делать обобщающие выводы. Многие дети в возрасте пяти-шести лет обнаруживают, что за каждым числом n следует число n + 1 и что последовательность целых чисел, следовательно, бесконечна – наибольшего числа просто не существует. Лично я до сих пор с трепетом вспоминаю момент, когда я это осознал – на самом деле, это была моя первая математическая теорема. Какие необыкновенные способности к абстракции! Каким образом нашему мозгу, состоящему из конечного числа нейронов, удается концептуализировать бесконечность?

Современным искусственным нейросетям недоступен даже такой простой абстрактный закон, как «за каждым числом следует другое число». Абсолютные истины – не их конек. Систематичность20, способность к обобщению на основе некоего символического правила, а не поверхностного сходства по-прежнему ускользает от большинства современных алгоритмов. Иронично, но так называемые алгоритмы глубокого обучения практически не приспособлены к глубокому анализу.

Наш мозг, напротив, превосходно умеет выводить формулы на своем собственном, ментальном языке. Например, он может выразить понятие бесконечного множества, ибо обладает внутренним языком, наделенным такими абстрактными функциями, как отрицание и квантификация (бесконечное = не конечное = за пределами любого числа). Американский философ Джерри Фодор (1935–2017) предложил теоретическое объяснение этой способности: он утверждал, что мы мыслим символами, которые комбинируются в соответствии с систематическими правилами особого «языка мышления»21. Возможности такого языка обусловлены его рекурсивной природой: каждый вновь созданный объект (скажем, понятие бесконечности) может быть немедленно использован в новых комбинациях, без ограничений. Сколько существует бесконечностей? Этот, казалось бы, абсурдный вопрос задал себе математик Георг Кантор (1845–1918) и сформулировал теорию трансфинитных чисел. Способность «бесконечно использовать конечный набор средств», согласно Вильгельму фон Гумбольдту (1767–1835), характеризует все человеческое мышление.

Некоторые искусственные модели пытаются имитировать усвоение абстрактных математических правил у детей, но для этого они должны овладеть совсем иной формой научения – той, которая опирается на уже существующий набор правил и базовых положений и предполагает быстрый выбор самых емких и правдоподобных из них22. С этой точки зрения научение становится похожим на программирование: оно состоит в выборе простейшей внутренней формулы среди всех доступных на языке мышления.

Современные нейронные сети по большей части не способны репрезентировать весь спектр абстрактных фраз, формул, правил и теорий, с помощью которых мозг Homo sapiens моделирует мир. Едва ли это случайно: в этом есть нечто сугубо человеческое, нечто такое, чего нет в мозге других видов животных и что современная нейробиология еще не успела изучить подробно – поистине уникальный признак нашего вида. По всей видимости, люди – единственные приматы, чей мозг репрезентирует наборы символов, которые комбинируются в соответствии со сложным древовидным синтаксисом23. В частности, сотрудники моей лаборатории доказали: услышав последовательность звуков – например, бип-бип-бип-буп, – человеческий мозг мгновенно строит теорию относительно лежащей в ее основе абстрактной структуры (три идентичных звука плюс один непохожий). Оказавшись в аналогичной ситуации, обезьяна обнаруживает последовательность из четырех звуков, понимает, что последний отличается, но, похоже, не интегрирует эти фрагментарные знания в единую формулу. Откуда нам это известно? Изучая мозговую деятельность обезьян, мы видим, как отдельные нейронные сети реагируют на количество и последовательности, но не наблюдаем интегрированного паттерна активности в области, отвечающей за речь у людей, так называемой зоне Брока24.

По аналогии с этим потребуются десятки тысяч попыток, прежде чем обезьяна поймет, как изменить порядок последовательности (с АБВГ на ГВБА), хотя четырехлетнему ребенку достаточно пяти25. Младенец, который родился всего несколько месяцев назад, уже кодирует внешний мир с помощью абстрактных и систематических правил – это способность, которой напрочь лишены не только классические искусственные нейросети, но и другие виды приматов.

Компоновка. Как только я научусь складывать два числа (к примеру), этот навык станет неотъемлемой частью моего репертуара талантов: иными словами, я немедленно смогу его применить для решения любых других задач. Я смогу использовать его как подпрограмму в десятках различных контекстов – скажем, чтобы оплатить счет в ресторане или проверить налоговую декларацию. Но главное – я смогу комбинировать его с другими приобретенными навыками: например, без труда взять некое число, прибавить к нему 2 и определить, что больше: новое число или 526.

Удивительно, но современные искусственные нейросети до сих пор не проявляют такой гибкости. Знание, которое они усвоили, остается изолированным в скрытых, недоступных связях, что препятствует его повторному использованию в других, более сложных задачах. В отличие от человека искусственные модели не умеют сочетать ранее приобретенные навыки, то есть рекомбинировать их для решения новых задач. Для современного искусственного интеллекта характерна чрезвычайно узкая специализация. Программа AlphaGo, которая может победить любого чемпиона по игре в го, – упрямый эксперт, неспособный обобщить свои таланты и применить их в другой, даже очень похожей игре (например, AlphaGo отлично умеет играть в го на стандартном гобане 19х19, но не на доске 15х15). В человеческом мозге, напротив, научение почти всегда означает преобразование знаний в эксплицитную форму, позволяющую их использовать повторно, рекомбинировать и объяснять другим. Здесь мы снова сталкиваемся с уникальным аспектом человеческого мозга, который тесно связан с речью и который, как оказалось, крайне трудно воспроизвести в машине. Еще в 1637 году эту проблему предвосхитил Декарт в своем фундаментальном труде «Рассуждения о методе»:

Но если бы сделать машины, которые имели бы сходство с нашим телом и подражали бы нашим действиям, насколько это мыслимо, то у нас все же было бы два верных средства узнать, что эта не настоящие люди. Во-первых, такая машина никогда не могла бы пользоваться словами или другими знаками, сочетая их так, как это делаем мы, чтобы сообщать другим свои мысли. Можно, конечно, представить себе, что машина сделана так, что произносит слова… Но никак нельзя себе представить, что она расположит слова различным образом, чтобы ответить на сказанное в ее присутствии, на что, однако, способны даже самые тупые люди. Во-вторых, хотя такая машина многое могла бы сделать так же хорошо и, возможно, лучше, чем мы, в другом она непременно оказалась бы несостоятельной, и обнаружилось бы, что она действует не сознательно, а лишь благодаря расположению своих органов. Ибо в то время как разум – универсальное орудие, могущее служить при самых разных обстоятельствах, органы машины нуждаются в особом расположении для каждого отдельного действия[13].

Разум – универсальное орудие нашей психики. Умственные способности, перечисленные Декартом, предполагают наличие второй системы научения, иерархически занимающей более высокое положение, чем первая, и основанной на правилах и символах. На ранних стадиях наша зрительная система отдаленно напоминает современные искусственные нейросети: она учится фильтровать поступающие образы и распознавать часто встречающиеся конфигурации. Этого достаточно, чтобы определить лицо, слово или расположение камней на гобане. Но затем стиль обработки информации кардинально меняется: научение становится больше сродни рассуждению, логическому выводу, имеющему своей целью выявить основополагающие правила изучаемой области. Создание машин, которым доступен этот второй уровень интеллекта, – сложнейшая задача. Но что конкретно делают люди, когда учатся на этом втором уровне, и что именно ускользает от большинства современных алгоритмов машинного обучения?

Учиться – значит логически выводить основы

Одной из характерных особенностей человека является неустанный поиск абстрактных правил, выводов высокого уровня, которые мы извлекаем из конкретной ситуации и впоследствии проверяем на новых наблюдениях. Попытки сформулировать такие абстрактные законы могут служить чрезвычайно мощной стратегией научения, поскольку самые абстрактные законы – это законы, которые применимы к наибольшему числу наблюдений. Поиск подходящего логического правила, учитывающего все доступные данные, – наиболее действенный способ существенно ускорить научение, и человеческий мозг умеет играть в эту игру очень хорошо.

Рассмотрим пример. Представьте, что я показываю вам десять непрозрачных ящиков с разноцветными шарами внутри. Я наугад выбираю ящик, из которого раньше ничего не доставал, запускаю в него руку и достаю зеленый шар. Можете ли вы сделать какие-нибудь выводы о содержимом ящика? Какого цвета будет следующий шар?

Вероятно, первый ответ, который придет вам на ум, прозвучит примерно так: «Я понятия не имею – вы не дали мне практически никакой информации; откуда мне знать, какого цвета будет следующий шар?» Да, но… Представьте, что некоторое время назад я вытащил несколько шаров из других ящиков, и вы отметили следующую закономерность: шары в каждом ящике всегда одного цвета. Выходит, все просто? Как только я покажу новый ящик, вам нужно всего-навсего увидеть один зеленый шар, чтобы сделать вывод, что все остальные шары тоже зеленые. Благодаря этому общему правилу научение происходит с одной попытки.

Данный пример наглядно иллюстрирует, как знания более высокого порядка, сформулированные на так называемом «метауровне», управляют наблюдениями более низкого уровня. Стоит нам усвоить некое абстрактное метаправило – например, «шары в каждом ящике одного цвета», – как процесс научения значительно ускоряется. Конечно, это правило может оказаться и ложным. Вы будете сильно удивлены (или «метаудивлены»), если в десятом ящике окажутся шары всех цветов. В этом случае вам придется пересмотреть свою ментальную модель и поставить под вопрос допущение о том, что все ящики одинаковые. Возможно, вы предложите гипотезу еще более высокого уровня, «метаметагипотезу». Скажем, что ящики бывают двух видов: в одних лежат шары одного цвета, в других – разных цветов. Если так, то вам потребуется по меньшей мере два шара из каждого ящика, чтобы сделать какие-либо выводы. В любом случае формулирование иерархии абстрактных правил существенно сократит драгоценное время научения.

В этом смысле научение предполагает управление внутренней иерархией правил и попытки как можно скорее вывести из них наиболее общие, подытоживающие целую серию наблюдений. Человеческий мозг, по-видимому, применяет этот иерархический принцип с детства. Возьмем двух– или трехлетнего ребенка, который гуляет в саду и узнает от родителей новое слово – допустим, слово «бабочка». Зачастую ребенку достаточно услышать слово один или два раза, и вуаля! – его значение зафиксировано в памяти. Невероятная скорость! Ни одна из известных на сегодняшний день систем искусственного интеллекта не способна учиться так быстро. Почему это так трудно? Потому что любой случай употребления слова не полностью ограничивает его значение. Обычно ребенок слышит слово «бабочка», находясь в окружении цветов, деревьев, игрушек и людей; все это – потенциальные значения нового слова, не говоря даже о менее очевидных значениях: каждое мгновение нашей жизни полно не только звуков, запахов, движений, действий, но и абстрактных свойств. «Бабочка» вполне может означать цвет, небо, движение или симметрию. Существование абстрактных слов только усложняет задачу. Как дети узнают смысл слов «думать», «верить», «нет», «свобода» и «смерть», если то, что они обозначают, не поддается чувственному восприятию? Как они понимают, что значит «я», если каждый раз, когда они слышат это местоимение, говорящие имеют в виду… самих себя?!

Быстрое усвоение абстрактных слов так же несовместимо с наивными взглядами на формирование словарного запаса, как павловское обусловливание или скиннеровские ассоциации. Искусственным нейронным сетям, которые просто пытаются соотнести входные данные с выходными и образы со словами, обычно требуются тысячи попыток, прежде чем они начнут понимать, что слово «бабочка» относится к вон тому разноцветному насекомому в углу изображения. Разумеется, такое поверхностное соотнесение слов с картинками никогда не позволит установить смысл слов без фиксированного денотата, например, местоимения «мы», наречия «всегда» или существительного «запах».

Усвоение новых слов представляет огромную проблему для когнитивной науки. Тем не менее сегодня мы знаем, что часть решения кроется в способности ребенка формулировать нелингвистические, абстрактные, логические репрезентации. Еще до того, как малыши овладевают первыми словами, они активно пользуются своеобразным языком мышления, на котором могут формулировать и проверять абстрактные гипотезы. Их мозг – не «чистый лист»; врожденные знания, которые они проецируют на внешний мир, существенно ограничивают абстрактное пространство, в котором происходит научение. Более того, дети быстро схватывают значения новых слов потому, что в выборе подходящих гипотез руководствуются целым арсеналом правил высокого уровня. Такие метаправила значительно ускоряют процесс научения – точь-в-точь как в задаче с разноцветными шарами в разных ящиках.

Одно из правил, облегчающих усвоение лексики, заключается в том, чтобы всегда отдавать предпочтение простейшему предположению (наименьшему множеству), совместимому с данными. Например, когда ребенок слышит, как его мать говорит: «Посмотри на собаку», теоретически ничто не мешает слову «собака» относиться к этой конкретной собаке (Снупи) или, наоборот, к любому млекопитающему, четвероногому существу, животному или вообще всему живому. Как же ребенок узнает истинное значение слова – например, что слово «собака» применимо ко всем собакам, но только к собакам? Эксперименты показывают, что дети рассуждают логически: они проверяют все гипотезы, но оставляют только самую простую модель, которая согласуется с данными. Когда малыш слышит слово «Снупи», это всегда контекстуально связано с конкретным существом, а самое маленькое множество, совместимое с этими наблюдениями, ограничивается данной конкретной собакой. Впервые услышав слово «собака» в определенном контексте, многие дети полагают, что это слово относится только к конкретному животному, но, услышав его дважды, в двух разных контекстах, делают вывод, что слово относится ко всему виду. Согласно прогнозу математической модели, достаточно трех или четырех примеров, чтобы установить верное значение27. Такие логические выводы дети делают быстрее, чем любая искусственная нейросеть, существующая на сегодняшний день.

Овладеть речью в рекордные сроки (по сравнению с современными системами искусственного интеллекта) детям позволяют и другие хитрости. Одно из таких метаправил всем известно: обычно говорящий смотрит на то, о чем говорит. Это правило позволяет детям значительно ограничить абстрактное пространство, в котором они ищут значение нового слова: ребенку не нужно соотносить каждое незнакомое слово со всеми объектами в своем поле зрения, как поступил бы компьютер. Последний будет делать это до тех пор, пока не соберет достаточно данных и не убедится, что каждый раз, когда он слышит о бабочке, где-то есть маленькое разноцветное насекомое. Чтобы понять, о чем говорит мама, ребенку достаточно проследить за ее взглядом или направлением пальца. Это называется «совместным вниманием» и является фундаментальным принципом овладения речью.

Вот изящный эксперимент: покажите двух– или трехлетнему ребенку новую игрушку, посмотрите на нее и скажите: «Пупс!» Ребенок с первого раза поймет, что «пупс» – это название предмета. Теперь воспроизведите ситуацию, но на этот раз молчите – пусть слово «пупс» малыш услышит из динамика. В этом случае он ничему не научится, потому что не сможет расшифровать намерение говорящего28. Маленькие дети усваивают значение нового слова только в том случае, если понимают намерение человека, который его произнес. Эта же способность позволяет им сформировать обширный запас абстрактных слов: чтобы понять, к какой мысли или слову апеллирует говорящий, они должны поставить себя на его место.

Дети используют множество метаправил для заучивания слов. Например, они опираются на грамматический контекст. Возьмем английский язык. Когда ребенку говорят: Look at the butterfly («Посмотри на эту бабочку»), наличие детерминатива the подсказывает ему, что следующее слово должно быть существительным. Это метаправило, несомненно, приобретено – дети явно не появляются на свет с врожденным знанием всех артиклей на всех языках. Тем не менее исследования показывают, что данный тип научения происходит очень быстро: к году младенцам уже известны самые распространенные детерминативы и другие служебные слова, облегчающие дальнейшее научение29.

Это происходит потому, что некоторые грамматические слова употребляются очень часто и почти всегда стоят перед существительным. Может показаться, что подобные рассуждения создают замкнутый круг, но это не так. Примерно в шесть месяцев малыши начинают овладевать существительными: первыми в списке идут самые знакомые, например, bottle («бутылочка») и chair («стул»). Через некоторое время дети замечают, что этим словам часто предшествует другое слово – артикль the. Вывод: все эти слова, вероятно, принадлежат к одной категории (существительным) и обычно обозначают вещи. Руководствуясь данным метаправилом, ребенок, который услышал новое высказывание, например the butterfly («бабочка»), прежде всего ищет возможное значение среди окружающих его объектов, а не расценивает слово как глагол или прилагательное. Каждый последующий эпизод подкрепляет это правило, а оно, в свою очередь, облегчает и ускоряет последующее научение. Специалисты по психологии развития утверждают, что ребенок полагается на синтаксический бутстрэппинг: детский алгоритм овладения языком развертывается постепенно, сам по себе, основываясь на последовательности небольших, но систематических шагов вывода.

Учиться – значит выбирать простейшую модель, которая согласуется с данными. Предположим, я покажу вам картинку, которая приведена выше, и скажу, что три объекта, обведенные в квадрат, – это «туфы». Располагая столь скудными данными, как вы найдете другие туфы? Ваш мозг вычисляет принципы, по которым были обведены именно эти изображения, строит иерархическое дерево их основных свойств, а затем выбирает самую маленькую ветвь, которая совместима со всеми данными.

Существует еще одно метаправило, которое дети часто используют для ускорения усвоения новых слов. Оно называется «допущением взаимного исключения» и вкратце может быть сформулировано следующим образом: одна вещь – одно название. Проще говоря, закон гласит, что два разных слова едва ли будут относиться к одному и тому же понятию – во всяком случае, это маловероятно. Следовательно, незнакомое слово скорее всего обозначает новый предмет или новую концепцию. Благодаря этому правилу ребенок, услышавший новое слово, может ограничить поиски его значения вещами, названия которых он пока не знает. Начиная с 16 месяцев дети мастерски пользуются этим трюком30. Проведем эксперимент: возьмите две мисочки – пусть одна будет синяя, а другая, скажем, оливково-зеленая – и скажите ребенку: «Дай мне оливновую миску». Ребенок даст вам ту миску, которая не синяя (слово, которое он уже знает). Очевидно, он полагает, что если бы вы говорили о синей миске, то вы бы употребили слово «синяя» – значит, вы имеете в виду другую. Одного-единственного раза достаточно, чтобы через несколько недель малыш вспомнил, что этот странный цвет называется «оливновый».

Здесь мы снова видим, что владение метаправилом значительно ускоряет процесс научения. Вполне вероятно, что само это метаправило тоже приобретено. И действительно, некоторые эксперименты показывают, что малыши из двуязычных семей применяют его гораздо реже, чем дети с одним родным языком31. Билингвальный опыт подсказывает им, что родители могут использовать разные слова, чтобы сказать одно и то же. Одноязычные дети, напротив, часто полагаются на правило исключительности. Со временем они приходят к выводу, что всякий раз, когда вы произносите новое слово, вы хотите познакомить их с новым предметом или концепцией. Услышав фразу «дай мне глакс» в комнате, полной знакомых предметов, ребенок будет повсюду искать эту таинственную штуку: ему и в голову не придет, что вы можете иметь в виду одну из уже известных ему вещей.

Все эти метаправила иллюстрируют так называемый «дар абстракции»: самые абстрактные метаправила усвоить легче всего – хотя бы потому, что их подтверждает каждое слово, которое слышит ребенок. Таким образом, грамматическое правило «перед существительным обычно идет артикль the» вполне может быть усвоено на ранней стадии и впоследствии облегчить приобретение обширного репертуара существительных. Благодаря абстракции примерно в два-три года дети вступают в благословенный период, по праву называемый «лексическим взрывом». В это время они без усилий выучивают от десяти до двадцати новых слов в день, полагаясь на подсказки, которые до сих пор ставят в тупик лучшие алгоритмы на планете.

Способность использовать метаправила, по-видимому, требует достаточно развитого интеллекта. Если так, значит, она присуща только человеку? Не совсем. В определенной степени делать абстрактные умозаключения способны и другие животные. Возьмем случай с Рико – бордер-колли, которого научили приносить самые разные предметы32. Все, что вам нужно, – это сказать: «Рико, принеси динозавра». Животное убегает в комнату с игрушками и через несколько секунд возвращается с плюшевым динозавром в пасти. Этологи, которые проверяли Рико, установили, что он знает около двухсот слов. Но это еще не самое удивительное. Оказывается, чтобы выучить новые слова, пес применял принцип взаимной исключительности! Если бы вы сказали: «Рико, принеси сикирид» (новое слово), он бы вернулся с предметом, названия которого не знал. Иными словами, Рико использовал метаправила, в том числе правило «одна вещь – одно название».

Математики и специалисты в области вычислительной техники уже приступили к разработке алгоритмов, которые позволят машинам усваивать подобную иерархию правил, метаправил и метаметаправил. В этих иерархических алгоритмах каждый эпизод обучения ограничивает не только параметры низкого уровня, но и знания самого высокого уровня, абстрактные гиперпараметры, которые, в свою очередь, управляют последующим обучением. Хотя таким системам еще далеко до экстраординарной эффективности, присущей человеческому мозгу при овладении речью, они показывают неплохие результаты. Например, на цветной иллюстрации 4 представлен новейший алгоритм, который, подобно искусственному ученому, ищет лучшую модель внешнего мира33. Данная система обладает набором абстрактных примитивов, а также грамматикой, позволяющей генерировать бесконечное число структур более высокого уровня посредством рекомбинации этих элементарных правил. Например, она может определить линейную цепочку как последовательность тесно связанных точек, описываемую правилом «с каждой точкой соседствуют две другие точки – одна слева, другая справа», и совершенно самостоятельно обнаружить, что такая цепочка является наилучшим способом представления множества целых чисел (от нуля до бесконечности) или политических взглядов (от ультралевых до ультраправых). Вариант той же грамматики дает двоичное дерево, где каждый узел имеет одного родителя и двух потомков. Такая древовидная структура выбирается автоматически, когда систему просят представить живые существа; машина, подобно искусственному Дарвину, заново открывает древо жизни!

Другие комбинации правил порождают плоскости, цилиндры и сферы, и алгоритм определяет, как такие структуры приближенно выражают географию нашей планеты. Более сложные версии того же алгоритма могут выразить еще более абстрактные идеи. Например, американские специалисты в сфере вычислительной техники Ной Гудман и Джош Тененбаум разработали систему, способную открыть принцип причинности34, согласно которому одни события вызывают другие. Его формулировка носит весьма абстрактный и математический характер: «В направленном ациклическом графе, связывающем различные переменные, существует подмножество переменных, от которых зависят все остальные». Хотя это определение почти невозможно понять, оно прекрасно иллюстрирует тип абстрактных внутренних формул, которые эта ментальная грамматика способна выразить и проверить. Система тестирует тысячи таких формул, но сохраняет только те из них, которые согласуются с входящими данными. В результате она быстро выводит принцип причинности (если, конечно, некоторые из получаемых ею сенсорных сигналов являются причинами, а другие – следствиями). Это еще одно доказательство в пользу дара абстракции: принятие такой высокоуровневой гипотезы значительно ускоряет процесс обучения, ибо радикально сужает объем правдоподобных гипотез, среди которых осуществляется поиск. Вот почему из поколения в поколение дети неустанно спрашивают «почему?» и ищут объяснений, тем самым подпитывая бесконечную погоню нашего вида за научными знаниями.

Согласно данной точке зрения, научение состоит в анализе обширного набора утверждений, выраженных на языке мышления, и выборе того, которое наилучшим образом согласуется с данными. Как мы увидим далее, эта модель отлично описывает все, что происходит в мозге любого ребенка. Подобно начинающим ученым, дети формулируют теории и сравнивают их с внешним миром. Отсюда следует, что ментальные представления детей гораздо более структурированы, нежели представления современных искусственных нейросетей. С самого рождения мозг ребенка уже должен обладать двумя ключевыми составляющими: всеми механизмами, позволяющими генерировать множество абстрактных формул (комбинаторным языком мышления), и способностью выбирать из этих формул наиболее правдоподобные.

Таково наше новое видение мозга35: мозг – это огромная генеративная модель, в значительной степени структурированная и способная формулировать бесчисленное множество гипотетических правил и структур, но постепенно ограничивающаяся теми, которые максимально точно описывают реальность.

Учиться – значит рассуждать как ученый

Как мозг выбирает наиболее подходящую гипотезу? По каким критериям он принимает или отвергает модель внешнего мира? Оказывается, для этого существует идеальная стратегия. Она лежит в основе одной из самых современных и продуктивных теорий научения – гипотезы о том, что мозг ведет себя как ученый. Согласно данной теории, учиться – значит рассуждать как хороший специалист по статистике, выбирающий из нескольких альтернативных теорий ту, у которой больше всего шансов оказаться верной. А какая теория вероятнее станет таковой? Разумеется, та, которая наилучшим образом объясняет имеющиеся данные.

Как же работает научное мышление? Когда ученые формулируют теорию, они не просто записывают математические формулы – они делают прогнозы. О силе теории судят по богатству исходных прогнозов, которые из нее вытекают. Последующее подтверждение или опровержение этих предсказаний ведет к подтверждению или крушению теории. Исследователи применяют простую логику: они формулируют несколько теорий, распутывают паутину вытекающих из них прогнозов и исключают теории, прогнозы которых опровергает опыт или наблюдения. Конечно, одного эксперимента редко бывает достаточно: зачастую, чтобы отделить истинное от ложного, приходится повторять эксперимент несколько раз, в разных лабораториях. И все же, перефразируя философа науки Карла Поппера (1902–1994), невежество постепенно отступает, ибо благодаря серии догадок и опровержений мы можем шаг за шагом уточнить теорию.

В этом плане наука сродни человеческому научению. По мере того как мозг успешно формулирует все более и более точные теории внешнего мира на основе наблюдений, невежество каждого из нас постепенно отступает. Но разве это не просто туманная метафора? Нет. По сути, это довольно точное описание вычислений, которые, судя по всему, производит мозг. За последние тридцать лет гипотеза «ребенка как ученого» привела к ряду крупных открытий относительно того, как дети рассуждают и учатся.

Математики и ученые в области вычислительной техники уже давно сформулировали лучший способ рассуждения в условиях неопределенности. Эту теорию называют байесовской, в честь ее создателя, преподобного Томаса Байеса (1702–1761), английского пресвитерианского пастора и математика, ставшего членом Королевского общества. Возможно, правда, нам следовало бы назвать ее теорией Лапласа, поскольку именно Пьер-Симон, маркиз де Лаплас (1749–1827) – великий французский математик – придал ей окончательную форму. Как бы то ни было, несмотря на свой почтенный «возраст», в когнитивистике и машинном обучении она получила известность лишь в последние лет двадцать. К счастью, сегодня все больше исследователей осознают, что только байесовский подход, основанный на теории вероятностей, позволяет извлекать максимум информации из каждой единицы данных. Учиться – значит делать как можно больше выводов из каждого наблюдения, даже самого неопределенного. Правило Байеса это гарантирует.