Помоги проекту - поделись книгой:
Как и в случае с любой новой технологией, здесь вполне естественно сначала будет сосредоточить внимание на том, чтобы она заработала. Но как только забрезжит успех, придется задуматься о воздействии технологии на общество и выяснить, как нам беспроблемно пользоваться преимуществами искусственного интеллекта и избегать опасностей. Вот почему, научившись добывать огонь, мы разработали огнетушители и нормы пожарной безопасности. Для более современных технологий, таких как ядерная энергия, синтетическая биология и искусственный интеллект, оптимизация социального воздействия становится еще более важной задачей. Короче говоря, наша технологическая мощь должна соответствовать нашей мудрости в плане ее применения.
К сожалению, необходимый нам здравый подход к выбору задач для научных исследований, практически полностью глушит какофония невежественных суждений, охвативших блогосферу. Позвольте вкратце перечислить самые громкие из них.
1. Паникерство: страх увеличивает доходы от рекламы и рейтинг Нильсена[11], а многие журналисты, кажется, не способны написать статью про искусственный интеллект без картинки с роботом, несущим оружие.
2. «Это невозможно»: будучи физиком, я знаю, что мой мозг состоит из кварков и электронов, организованных и действующих подобно мощному компьютеру, и что нет такого закона физики, который препятствовал бы тому, чтобы мы построили еще более разумные сгустки кварков.
3. «Это произойдет не при нашей жизни»: мы не знаем, каковы шансы, что машины достигнут человеческого уровня во всех когнитивных задачах при нашей жизни, но большинство исследователей, работающих в области искусственного интеллекта, на прошедшей недавно конференции высказывались в пользу того, что вероятность этого выше 50 процентов, таким образом, было бы глупо с нашей стороны отбрасывать такую возможность, считая ее просто научной фантастикой.
4. «Машины не могут контролировать людей»: мы способны управлять тиграми не потому, что мы сильнее, а потому, что умнее, так что если мы сдадим позиции самых умных на планете, то рискуем утратить свободу.
5. «У машин нет целей»: многие системы искусственного интеллекта запрограммированы таким образом, чтобы иметь цели и максимально эффективно их достигать.
6. «Искусственный интеллект сам по себе не злонамерен»: верно, но его цели могут однажды столкнуться с вашими. Люди обычно не питают ненависти к муравьям, но если б мы захотели построить плотину ГЭС, а на ее месте оказался бы муравейник, то муравьи столкнулись бы с проблемами.
7. «Люди достойны того, чтобы их заменили машины»: спросите любого родителя, как бы он отнесся к идее заменить своего ребенка машиной и хотел бы он иметь право голоса в этом вопросе.
8. «Те, кто беспокоится по поводу искусственного интеллекта, не понимают, как работают компьютеры»: это утверждение прозвучало на вышеупомянутой конференции, и собравшиеся там специалисты по ИИ сильно смеялись.
Давайте не будем позволять шумихе вокруг этих «красных селедок»[12] отвлекать нас от главной проблемы. Воздействие искусственного интеллекта на человечество неуклонно растет, и, чтобы гарантировать, что это воздействие останется положительным, необходимы общие усилия по исследованию ряда сложнейших проблем — междисциплинарных, касающихся и общества, и искусственного интеллекта, а потому требующих сотрудничества исследователей во многих областях. Начинать работу над этими проблемами нужно уже сейчас.
Сперва мы, люди, придумали, как воспроизвести некоторые природные процессы с помощью машин и получили рукотворный ветер, молнии и лошадиные силы. Постепенно мы поняли, что наши организмы также являются машинами, а после открытия нервных клеток граница между телом и разумом начала размываться. Тогда мы стали строить машины, способные превзойти нас не только в силе, но и в интеллекте. Так не станем ли мы анахронизмом, выяснив, кто мы на самом деле?
Появление по-настоящему мыслящих машин будет самым важным событием в истории человечества. Станет ли это лучшим или худшим из всего случившегося с человечеством, зависит от того, как мы подготовимся, и сейчас самое время начинать. Не нужно быть сверхразумным искусственным интеллектом, чтобы понять: двигаться навстречу величайшему событию в истории человечества и не готовиться к этому — просто глупо.
Вопросы для расширенного теста Тьюринга
В последние несколько месяцев мы наблюдали охватывающее все более и более широкие слои общества обсуждение вопросов, касающихся опасности искусственного интеллекта, и в частности сильного искусственного интеллекта (СИИ). Некоторые — и в их числе физик Стивен Хокинг — назвали ИИ главной угрозой существованию человечества, а такие фильмы, как «Она» (Спайк Джонз, 2013) и «Превосходство» (Уолли Пфистер, 2014), подкрепили общие настроения. И даже разумные замечания экспертов в данной области — среди которых были Род Брукс и Орен Этциони — не то чтобы смогли направить обсуждение в позитивное русло.
Я утверждаю, что изучать то, как мы думаем о мыслящих машинах и их создании, полезно для общества. Я призываю к исследованиям, которые объединят нейронауки, когнитивистику, информатику и собственно разработку искусственного интеллекта. Понимание природы мышления и репликация его в машинах идут рука об руку с осознанием того, как выполняет свою работу мозг.
Сближение математики, нейробиологии и технологических разработок создает новые возможности междисциплинарного взаимодействия. Мечта о том, чтобы понять, как работает мозг, не нова, и все же — как видно из дебатов вокруг ИИ — сейчас подходящее время для того, чтобы сделать шаг к этой мечте. Мы видим зарождение новой области — науки и техники интеллекта, в которой нам предстоит достичь фундаментальных, очень важных для человечества результатов. Мы должны продолжать исследования, а не сворачивать их.
Проблема интеллекта — что это такое, как он порождается человеческим мозгом и как воспроизвести его в машинах — одна из наиболее важных проблем науки и техники, наряду с проблемой происхождения Вселенной и природы пространства и времени. Она может оказаться важнейшей, потому что обладает эффектом мультипликатора: практически любое достижение, способное сделать нас умнее непосредственно или с помощью мыслящих машин, позволит добиться прогресса в решении других важных проблем науки и техники.
Исследования в области интеллекта в конечном счете приведут к революционным изменениям в образовании и обучении. Системы, способные выявлять влияние культуры на мышление, позволили бы нам свести на нет социальные конфликты. Умные машины помогли бы ученым и инженерам в решении наиболее острых технических проблем. Мы могли бы лучше разобраться в психических заболеваниях, а значит, найти лучшие способы их лечения. Таким образом, исследования в области интеллекта должны помочь нам понять, как работает человеческий разум, научиться строить более разумные машины и улучшить механизмы выработки коллективных решений. Эти достижения будут иметь решающее значение для нашего процветания, образования, здоровья и общественной безопасности. Сейчас, я повторяю, самое время для того, чтобы значительно расширить исследования в области интеллекта, а не сворачивать их.
Нас часто вводят в заблуждение общие, расплывчатые по значению, но часто повторяемые слова. Никто пока не смог дать точное, верифицируемое определение, что такое интеллект и мышление в целом. Единственная известная мне практически применимая характеристика, хоть и довольно ограниченная, принадлежит Алану Тьюрингу. В своем тесте он дал рабочее определение особой формы мышления — человеческого мышления.
Давайте рассматривать наше мышление так, как его характеризует тест Тьюринга. Становится очевидно, что у человеческого мышления много аспектов. Рассмотрим, например, тест Тьюринга на визуальный интеллект, то есть вопросы об изображении, варьирующие от «Что изображено на картинке?» до «Кто изображен на картинке?» и «Что делает этот человек?» и даже «Что эта девочка думает об этом мальчике?» и т. д. Сейчас благодаря последним достижениям нейронаук нам уже известно, что для ответа на такие вопросы требуются различные компетенции и умения, часто не зависящие друг от друга, а также относящиеся к разным отделам мозга. Внешне похожие вопросы, касающиеся распознавания предметов и лиц («Что там?» в противоположность «Кто там?»), соотносятся с разными частями зрительной зоны коры головного мозга. Слово «интеллект» в этом контексте может быть истолковано так же неверно, как слово «жизнь»: в течение первой половины прошлого века популярные научные журналы обычно писали о проблеме жизни так, будто существует некий единый жизненный субстрат, который лишь надо открыть.
Сегодня говорить о проблеме жизни смешно: биология — это наука, работающая со множеством серьезных проблем, а не с какой-то единственной. Интеллект — одно слово, скрывающее множество проблем, решение которых достойно множества Нобелевских премий. Это связано с точкой зрения Марвина Минского на проблему мышления, заключенную в его афористичной формуле «Общество разума». Так же обстоит дело и с настоящим тестом Тьюринга: это широкий круг вопросов, призванных исследовать главные аспекты человеческого мышления. Вот почему мы с коллегами занимаемся разработкой теоретических основ для неисчерпывающего набора вопросов расширенного теста Тьюринга, чтобы оценить научные достижения в нашей области. Слово «вопросы» во множественном числе подчеркивает, что мы говорим о большом числе различных интеллектуальных способностей, которые еще предстоит описать и, возможно, воспроизвести в искусственном интеллекте: базовое визуальное распознавание объектов, идентификация лиц, оценка эмоций, социальный интеллект, язык и многое другое. Расширенный тест Тьюринга делает особый упор на то, что количественная модель должна сопоставлять человеческое поведение и человеческую физиологию — разум и мозг. Таким образом, наши условия лежат далеко за пределами исходного теста Тьюринга; для их понимания и разработки соответствующих интеллектуальных технологий необходима целая научная область.
Следует ли нам бояться мыслящих машин?
Так как интеллект — это набор решений не зависящих друг от друга проблем, особых причин бояться внезапного появления сверхразумной машины нет, хотя всегда лучше перестраховаться. Конечно, любая технология из тех, что появляются сейчас или появятся через некоторое время, чтобы решать те или иные проблемы исследования интеллекта, вероятно, будет сильна сама по себе, а потому потенциально опасна в случае злоупотребления (впрочем, это касается большинства технологий).
Таким образом, здесь, как и в других областях науки, необходимы соответствующие меры безопасности и этические нормы. Кроме того, вероятно, понадобится постоянный мониторинг (возможно, силами независимой межгосударственной организации) супралинейного риска, создаваемого комбинациями постоянно появляющихся интеллектуальных технологий. Впрочем, подводя итог, я отмечу, что не только не боюсь разумных машин, но и считаю их зарождение и эволюцию одним из самых захватывающих, интересных и позитивных событий в истории человеческой мысли.
Эпохальное для человека событие
Более пятидесяти лет я наблюдаю, насколько быстро меняется общественное мнение по поводу искусственного интеллекта. «Он невозможен, это нереализуемо». «Это важно / это не важно». «Это шутка». «Не может быть сильного искусственного интеллекта, только слабый». «Он уничтожит людей как вид». Такого рода крайности в последнее время уступили место признанию факта, что искусственный интеллект — это эпохальное научное, технологическое и социальное явление. Мы создали новый разум, который будет существовать наряду с нашим. Если мы станем обращаться с ним мудро, он принесет огромную пользу как всему человечеству, так и каждому из нас.
В качестве одного из вариантов будущего для искусственного интеллекта можно представить этакого Дживса, мудрого и терпеливого по сравнению с куда менее смышленым Берти Вустером, то есть с нами («Дживс, вы гений!» — «Спасибо, сэр. Мы стараемся»). Такой сценарий сосуществования возможен и даже желателен, помощь нам пригодится. Шахматы предлагают подобную модель. Гроссмейстеры Гарри Каспаров и Ханс Берлинер заявляли публично, что шахматные программы находят такие ходы, которых они сами не придумали бы, и учат игроков-людей новым трюкам. Deep Blue обыграл Каспарова, в то время как он считался одним из сильнейших шахматистов мира, при этом сам гроссмейстер и большинство экспертов полагают, что куда лучше в шахматы играют команды из людей и машин. Это ли не модель наших будущих взаимоотношений с искусственным интеллектом? Или, может, это лишь временный вариант, пока машины не овладеют и некоторыми сугубо человеческими навыками? Неизвестно. По скорости, широте и глубине мышления искусственный интеллект, вероятно, превзойдет человеческий — и уже много где превзошел.
Ни одна новая серьезная наука или технология не обходятся без недостатков, иногда даже опасных. Обнаружить их, оценить и принять необходимые меры — это задача громадных масштабов. Ею уже занимаются специалисты — философы, этики, правоведы и другие люди, обученные исследовать ценности за пределами простых интуитивных реакций, — в проекте под названием AI100, реализуемом на базе Стэнфордского университета. Никто не рассчитывает получить простые, окончательные ответы, понятно, что работа предстоит большая и продолжительная. Финансирование на ближайшие сто лет взял на себя один из ведущих специалистов в области искусственного интеллекта, Эрик Хорвиц, который вместе со своей женой Мэри и стал инициатором этого беспрецедентного исследования.
Человечество, похоже, безудержно в своем стремлении создать искусственный интеллект: по нашей литературе видно, что люди представляли себе нечто подобное и ждали его появления с тех пор, как появилась письменность. А раз так, значит, в основе такого стремления лежит некая базовая человеческая потребность. Тут необходимы пояснения, поскольку это точно не потребность в сексуальном удовлетворении.
Любой ученый скажет, что поиск знаний — как раз такая потребность. «Это основополагающая вещь, — заявил мне недавно один специалист по искусственному интеллекту. — Это и мы сами, когда мы смотрим на мир, и то, как мы на него смотрим». Конечно, он прав. Но есть кое-что еще.
Кое-кто говорит, что искусственный интеллект влечет нас как своего рода «Эверест разума». Другие, более склонные к мистике, утверждают, что нами движет телеология. Люди — просто этап эволюции разума во Вселенной, неплохой даже при всех наших недостатках, но едва ли финальный.
Предприниматели скажут, что будущее производства — это темные цеха, где трудятся роботы, не устающие, не требующие платы и не жалующиеся. Но если так, то возникает вопрос: какой валютой будут пользоваться избавившиеся от необходимости работать люди, для того чтобы приобретать произведенные роботами товары, сколь бы дешевыми те ни были? Ответа на этот вопрос пока нет.
Вот что думаю лично я: мы хотим сохранить себя как вид. После всех вымышленных божеств, к которым мы взывали в разные исторические периоды и которые не смогли защитить нас — от природы, друг от друга, от самих себя, мы наконец готовы обратиться к собственному улучшенному и дополненному разуму. Это признак социальной зрелости и того, что мы берем на себя ответственность за собственное будущее. Мы берем на себя роль богов, как сказал Стюарт Бранд, и у нас есть надежда преуспеть в этом.
Мы стараемся. Но, может быть, у нас не получится.
Добро пожаловать в ваше новое сверхчеловеческое «я»
Давайте рассмотрим ситуацию: вы опаздываете на работу и в спешке забываете дома мобильный телефон. Обнаруживаете вы это, только застряв в пробке или спустившись в метро. Возвращаться слишком поздно. Вы смотрите вокруг и видите, что все разговаривают, переписываются, что-то смотрят в интернете, даже если это запрещено. Вы ощущаете незнакомое чувство потери, оторванности. Без мобильного телефона вы — уже не вы.
Люди любят порассуждать о том, как однажды сольются человек и машина, став своего рода новым существом — киборгом с живым сердцем. Ну ладно, это все интересно, но реальность состоит в том, что мы — уже киборги. Мы определяем себя через наши гаджеты, создаем в Сети вымышленных персонажей со странными именами, подправляем фотографии, чтобы лучше или просто иначе выглядеть на своих страницах в Facebook, создаем себе новое «я», чтобы взаимодействовать с другими людьми. Мы существуем в информационном облаке, цифровом, далеком и вездесущем. У нас есть титановые импланты для суставов, кардиостимуляторы и слуховые аппараты, устройства, которые переделывают и дополняют наши умы и тела. Если вы спортсмен-инвалид, то ноги из углеволокна с легкостью могут нести вас вперед. Если вы ученый, компьютеры усилят вашу интеллектуальную мощь, и вы создадите нечто такое, что считалось совершенно невозможным несколько десятилетий тому назад. Каждый день появляются новые научные проблемы, которые раньше нельзя было ни рассмотреть, ни даже сформулировать. Темп научного прогресса прямо коррелирует с тем, насколько мы сближаемся с компьютерами.
Прямо сейчас мы заново изобретаем человеческий вид.
Поиски искусственного интеллекта традиционно опираются исключительно на машины, которые воссоздают — по крайней мере, как принято считать — уникальную способность человека мыслить. Мы говорим об электронных мозгах, которые быстро превзойдут человеческий разум, сделав людей лишними. После этого мы переходим к размышлениям о том, что случится с нами — беспомощными перед хладнокровным «мозгом в колбе». Тут возникают опасения, что мы создаем машину, которая нас погубит.
А что, если сама эта посылка в корне ошибочна? Что, если будущее интеллекта — не вне, а внутри человеческого мозга? Мне представляется совсем другой набор проблем, вытекающих из той перспективы, что мы станем сверхразумными посредством увеличения силы интеллекта с помощью цифровых технологий. Мало того, искусственно улучшенный человеческий разум расширяет смысл словосочетания «быть человеком». У нас так же будет биться сердце, и кровь будет струиться по венам, но еще и электроны будут течь по цифровым схемам. Перспектива искусственного интеллекта — это расширение наших способностей в новых областях. Это использование технологий для того, чтобы расти как вид — становиться умнее и, как я надеюсь, мудрее.
Все мы мыслящие машины
Жюльена де Ламетри можно было бы назвать типичным новым атеистом[15], если бы не тот факт, что нового в нем к настоящему времени осталось мало. Работая во Франции в XVIII веке, Ламетри делал дерзкие заявления, с открытым пренебрежением отзывался об оппонентах и во всеуслышание говорил о своих антиспиритуалистских убеждениях. В его наиболее значимой работе, L’Homme machine («Человек-машина»), высмеивается идея декартовской нематериальной души. Будучи врачом по профессии, он утверждал, что интеллектуальная деятельность и умственные расстройства объясняются особенностями тела и мозга.
Как всем нам известно, идеи Ламетри и по сей день не стали общепринятыми, но в целом он был на правильном пути. Современной физике известны все частицы и силы, из которых составлена любая наблюдаемая нами материя, как живая, так и неживая, так что места для внефизической жизненной силы не осталось. Нейробиология — область намного более сложная и далеко не так хорошо разработанная, как физика, — тем не менее добилась огромных успехов, связывая наше поведение и то, что происходит у нас в головах, с определенными действиями мозга. Когда меня спрашивают, что я думаю по поводу мыслящих машин, я не могу не ответить: «Эй, вы вообще-то говорите про моих друзей». Все мы — мыслящие машины, и граница между различными типами машин размывается.
Сейчас у всех на слуху, и не без причин, «искусственные» мыслящие машины, то есть созданные человеческим умом. Но никуда не делись и «естественные» машины, развившиеся в ходе естественного отбора, вроде меня или вас. И одна из наиболее интересных новых областей науки и техники — все менее различимая граница между этими двумя категориями.
Искусственный интеллект — и это кажется неудивительным, если смотреть в ретроспективе, — оказался намного более сложной областью, чем могли изначально предположить многие ее основоположники. Программисты мыслят в понятиях принципиального разделения аппаратного и программного обеспечения и полагают, что можно вызвать разумное поведение, просто написав подходящий алгоритм. Но эволюция не видит разницы между первым и вторым. Нейроны в наших мозгах и в телах, посредством которых они взаимодействуют с миром, функционируют одновременно как аппаратное и как программное обеспечение. Робототехники обнаружили, что поведение, схожее с человеческим, намного легче смоделировать у машин, когда в них воплощена способность познавать. Дайте этому компьютеру руки, ноги и лицо, и его действия станут куда более похожими на человеческие.
С другой стороны, специалисты по нейронаукам и инженеры добиваются все лучших результатов в плане улучшения человеческого познания, ломая тем самым барьер между разумом и искусственно созданной машиной. У нас есть примитивные интерфейсы «мозг-компьютер», которые дают надежду на то, что парализованные пациенты когда-нибудь смогут разговаривать посредством аппаратного обеспечения и напрямую управлять протезами.
Куда сложнее прогнозировать, как соединение человеческого мозга с машиной и компьютером в конечном счете изменит наш собственный образ мышления. Исследователи, работающие под эгидой DARPA[16], обнаружили, что человек лучше, чем любой современный компьютер, справляется с быстрым анализом определенных видов визуальных данных, и разработали методы извлечения соответствующих подсознательных сигналов непосредственно из мозга без их опосредования ненадежным человеческим сознанием. В конечном счете нам предстоит проделать обратное, то есть научиться закладывать данные (и мысли) непосредственно в мозг. Люди, улучшенные соответствующим образом, будут в состоянии просеивать огромные объемы информации, выполнять математические вычисления со скоростью суперкомпьютера и визуализировать виртуальную реальность далеко за пределами привычных нам трех измерений пространства.
Куда приведет нас исчезновение границы между человеком и машиной? Жюльен де Ламетри, как считается, умер в возрасте 40 лет, решив похвастаться своим отменным здоровьем и съев гигантскую порцию паштета из фазана с трюфелями. Даже выдающиеся умы эпохи Просвещения иногда вели себя неразумно. Наш образ мысли и действий в корне меняется из-за компьютеров и способов взаимодействия с ними. Нам решать, станем ли мы использовать новые возможности мудро.
Кризис контроля
Мыслящие машины думают, как машины. Этот факт может расстроить тех, кто со страхом или тоской ожидает восстания роботов, но для большинства из нас является обнадеживающим. Наши мыслящие машины не превзойдут нас в плане интеллекта и уж тем более не превратят нас в своих слуг или домашних животных. Они продолжат выполнять указания людей-программистов.
Мощь искусственного интеллекта обусловлена главным образом именно его бездумностью. Не склонные отвлекаться и поддаваться заблуждениям, в отличие от сознательно мыслящих людей, компьютеры способны молниеносно выполнять вычисления без усталости, эмоций и сомнений. Холодность их интеллекта дополняет горячность нашего.
Неприятности начинаются тогда, когда мы смотрим на компьютер не как на помощника, а как на замену человека. Именно это сейчас происходит, и происходит быстро. Благодаря достижениям в области применения искусственного интеллекта нынешние мыслящие машины могут ощущать свое окружение, учиться на собственном опыте и самостоятельно принимать решения — зачастую с недостижимой и непостижимой для нас скоростью и точностью. Действуя самостоятельно в сложном мире, бездумные машины не только проявляют отменную эффективность, но и представляют серьезную опасность, причем неважно, воплощены они в виде роботов или это просто компьютеры, выдающие некие алгоритмически полученные заключения. Они неспособны усомниться в своих действиях или оценить их последствия, неспособны понять контекст, в котором работают, и потому могут повести себя непредсказуемо либо в результате несовершенства алгоритмов, либо из-за преднамеренных действий программистов.
Нам уже довелось увидеть, насколько опасно может быть автономное программное обеспечение, когда утром 1 августа 2012 года крупнейшая торговая площадка Уолл-стрит, Knight Capital, включила новую автоматизированную программу для покупки и продажи акций. Код содержал ошибку, и программа немедленно наводнила рынок иррациональными операциями. Прошло 45 минут, прежде чем программисты Knight Capital сумели выявить и устранить проблему. Для человека это недолгий срок, но для компьютера это вечность. Не замечая собственных ошибок, программа заключила более 4 миллионов сделок, совершив операций на сумму в 7 миллиардов долларов, что чуть было не привело к банкротству компании. Да, мы знаем, как создавать мыслящие машины. А вот чего мы не знаем, так это того, как сделать их вдумчивыми.
Knight Capital ничего не потеряла, кроме денег. По мере того как программы принимают на себя управление большим числом экономических, социальных, военных и личных процессов, затраты, связанные с ошибками, авариями и непредвиденными эффектами, будут расти. Риски усиливаются из-за невидимости программного кода. И как отдельные личности, и как общество мы все больше зависим от алгоритмов искусственного интеллекта, которых мы не понимаем. Их действия, а также мотивация и намерения, которые формируют эти действия, скрыты от нас. Создается дисбаланс сил, и он оставляет нас открытыми для тайного наблюдения и манипуляций. В прошлом году нам были даны кое-какие намеки по поводу способов, с помощью которых социальные сети тайно проводят психологические тесты на своих участниках посредством манипуляций с новостной летной. Поскольку компьютеры учатся все искуснее наблюдать за нами, формировать наши взгляды и действия, растут возможности для злоупотреблений.
В XIX веке общество столкнулось с тем, что недавно почивший историк Джеймс Бениджер охарактеризовал как кризис контроля{3}: технологии обработки материи опередили технологии обработки информации, а способность людей контролировать и регулировать производственные и другие связанные с ними процессы, в свою очередь, ослабела. Кризис контроля, который проявлялся во всем, от железнодорожных катастроф до дисбаланса спроса и предложения, а также недоступности государственных услуг, был в конечном счете разрешен благодаря изобретению систем автоматической обработки данных, таких как перфокарточный табулятор, который Герман Холлерит сконструировал для Бюро переписи населения США. Информационные технологии догнали производственные, позволив людям снова четко видеть мир, который начал было расплываться.
Сегодня мы сталкиваемся с еще одним кризисом контроля, хотя он — зеркальное отражение первого. Мы теперь изо всех сил стараемся совладать именно с тем, что помогло нам восстановить контроль в начале XX века, — с информационными технологиями. Наша способность собирать и обрабатывать данные во всех формах и управлять ими опередила нашу способность контролировать и регулировать этот процесс таким образом, который удовлетворяет нашим социальным и личным интересам. Разрешение нового кризиса контроля скоро станет одной из величайших проблем человечества. Чтобы справиться с нею, нужно прежде всего признать, что опасности, связанные с искусственным интеллектом, относятся не к какому-то отдаленному антиутопическому будущему. Они уже здесь.
Мы их построили, но мы их не понимаем
По мере того как алгоритмы, поколение за поколением, становятся умнее, они также становятся более непонятными. Нам же, чтобы работать с умными машинами, должно быть ясно, как они думают. Нам, возможно, впервые удалось создать устройства, которых мы сами не понимаем.
Поскольку мы их программировали, мы сознаем, почему они делают каждый отдельный шаг. Но машины совершают миллиарды таких шагов — шахматных ходов, рекомендаций кинофильмов согласно предпочтениям пользователя, и они становятся неочевидны для нас, хоть мы и понимаем архитектуру созданной нами программы.
Мы сделали так, чтобы нам не нужно было задумываться об этих неочевидных действиях. Мы спроектировали машины таким образом, чтобы они действовали подобно людям. Они помогают нам водить автомобили, управлять самолетами, доставлять посылки, одобрять кредиты, просматривать сообщения, выбирать развлечения и партнеров для романтических отношений. Мыслящие машины даже способны диагностировать наши недуги. А поскольку они ведут себя так же, как мы, было бы разумно предположить, что они и думают похожим образом. Но реальность такова, что они вообще не думают в человеческом понимании этого слова; в действительности мы не знаем даже, почему они демонстрируют то поведение, которое мы наблюдаем. Вот в чем суть их непостижимости.
Важно ли это? Надо ли нам беспокоиться из-за того, что мы строим системы, чьи все более и более точные решения основываются на непонятных нам принципах?
Во-первых, это важно уже потому, что мы регулярно оказываемся в совершенно обыденных ситуациях, когда нам надо знать ответ на вопрос «Почему?». «Почему мне отказали в выдаче кредита? Почему мой счет заблокировали? Почему мое заболевание вдруг оказалось в категории тяжелых?» А иногда нам бывает нужно знать ответ на вопрос «Почему?» в случаях, когда машина совершила ошибку. «Почему самоуправляемый автомобиль резко сошел с дороги?» Трудно разобраться с чем-то, когда вы не понимаете причин.
Есть также и более глубокие проблемы, и, чтобы говорить о них, нам надо лучше разбираться в том, как работают алгоритмы. Они обучаются на больших объемах данных и очень хорошо справляются с обнаружением малозаметных паттернов, содержащихся в этой информации. Мы знаем, например, как построить систему, которая изучит несколько миллионов составленных в прошлом заявок на кредит, одинаково структурированных и закодированных, и найдет повторяющиеся паттерны в тех кредитах, которые — как уже известно в ретроспективе — заслуживали одобрения. Трудно заставить людей прочесть несколько миллионов кредитных заявок, и даже если бы такое получилось, результат оказался бы хуже, чем тот, который способен выдать алгоритм.
Достижение поистине впечатляющее, но довольно ненадежное. У алгоритма узкая «зона комфорта», внутри которой он эффективен; трудно определить эту зону, но легко из нее случайно выскочить. Например, вы можете захотеть перейти от успешно решенной машиной задачи по классификации нескольких миллионов малых потребительских кредитов к работе с базой данных кредитных историй нескольких тысяч крупных компаний. Но, сделав это, вы оставите машину без того, за счет чего она ранее демонстрировала эффективность. Она работала хорошо, потому что имела доступ к огромному числу измерительных точек, к отупляюще однообразной истории отдельных случаев из прошлого, в которых нужно было обнаружить паттерны и структуру. Если существенно уменьшить объем данных или сделать каждую измерительную точку значительно более сложной, то алгоритм быстро пойдет вразнос. Наблюдать за успешно работающей машиной — а при соответствующих условиях результаты могут быть феноменальными — это как смотреть на удивительные достижения и неумолимую целеустремленность вундеркинда, скрывающие его ограниченность в других областях.
Но даже в самом центре «зоны комфорта» непостижимость рассуждений машины нередко приводит к затруднениям. Давайте вернемся к примеру с миллионами заявлений на небольшие потребительские кредиты. Трудности могут начаться, когда кто-либо из потребителей, менеджеров или операционистов станет задаваться некоторыми простыми вопросами.
Человек, которому отказали в выдаче кредита, может потребовать не просто объяснений, а чего-то большего: «Как мне изменить свое заявление на следующий год, чтобы шансы на успешное рассмотрение были повыше?» Так как у нас нет простого объяснения принимаемых алгоритмом решений, мы не сможем дать и достойный ответ на этот вопрос. «Попытайтесь написать ее так, чтобы она больше походила на одну из успешных заявок», — вот все, что нам остается сказать.
Наш руководитель мог бы спросить: «Алгоритм справляется с заявками в Великобритании, но будет ли он так же хорошо работать, если мы задействуем его в Бразилии?» Удовлетворительного ответа опять нет, или же мы не в состоянии достоверно оценить, насколько успешен будет перевод высокооптимизированного правила в новую область.
Специалист по обработке данных мог бы заметить: «Нам известно, насколько хорошо алгоритм справляется с данными, которые у него есть. Но новая информация о потребителях нам точно не повредит. Какие еще сведения надо собрать?» Исходя из имеющихся у нас знаний о человеке, можно предложить множество вариантов, но с этим непостижимым алгоритмом мы не знаем, что именно окажется для него полезным. Вот в чем ирония: мы можем попробовать выбрать те переменные, которые сами сочтем важными, но машина-то думает не так, как мы, и потому уже нас обыгрывает. Как нам узнать, что она сочтет полезным?
Тут не обязательно ставить точку. У нас уже есть интерес к тому, чтобы разрабатывать алгоритмы, которые будут не только эффективными, но и постижимыми для своих создателей. Чтобы это сделать, нам, возможно, придется серьезно пересмотреть понятие постижимости. Мы, вероятно, так никогда и не сумеем постичь, что именно делают наши автоматизированные системы конкретно, шаг за шагом, но это нормально. Достаточно будет, если мы научимся взаимодействовать с ними, как одна разумная сущность взаимодействует с другой, развивая здоровое понимание того, когда стоит доверять рекомендациям, где можно наиболее эффективно их использовать и как помочь машине прийти к недоступному для нас самих уровню эффективности.
Однако пока мы этому не научимся, непостижимость искусственного интеллекта будет представлять определенную опасность. Как мы узнаем, что машина вышла из своей «зоны комфорта» и уже работает с той частью проблемы, с которой не очень хорошо справляется? Степень такого риска нелегко определить количественно, и с подобными проблемами мы будем сталкиваться по мере развития наших систем. Возможно, с какого-то момента нам придется беспокоиться по поводу всесильного искусственного интеллекта. Но сперва нам надо озаботиться тем, что машинам приходится отвечать за решения, для принятия которых у них недостаточно ума.
Нам надо делать домашние задания
За шесть месяцев до первого ядерного испытания ученые, работавшие над Манхэттенским проектом, подготовили отчет LA-602. В нем были приведены данные об исследованиях возможного выхода ядерного взрыва из под контроля, что грозило уничтожением Земли в результате сгорания атмосферы. Это было, вероятно, первым исследованием в области угроз существованию человечества.
Конечно, список опасных технологий, изобретенных людьми, не закончился на ядерной бомбе. С тех пор тема катастрофических побочных эффектов неоднократно всплывает в разных контекстах: рекомбинантной ДНК, синтетических вирусов, нанотехнологий и т. п. К счастью для людей, обычно в таких случаях верх берет трезвый расчет, что приводит к появлению различных соглашений и протоколов, регулирующих исследовательскую деятельность.
Я думаю о мыслящих машинах как о технологии, которую надо развивать с такой же (если не с большей!) осторожностью. К сожалению, идею безопасности искусственного интеллекта оказалось сложнее популяризировать, чем, скажем, идею биологической безопасности, потому что у людей довольно слабое представление о том, что такое нечеловеческий разум. Кроме того, если задуматься, то можно прийти к мысли, что ИИ в действительности является метатехнологией, то есть технологией, которая способна разрабатывать другие технологии либо совместно с людьми, либо даже автономно (что еще более усложняет анализ вероятных последствий).
Впрочем, в течение нескольких последних лет мы наблюдаем внушающие оптимизм подвижки, примерами которых являются инициативы новых организаций, таких как Институт будущего жизни, объединивший ведущих специалистов в области искусственного интеллекта для работы над постановкой задач, стандартами и этическими нормами исследований.
Поэтому путаные аргументы людей, которые пытаются показать, что разбираются в вопросах мышления, сознания или этики искусственного интеллекта, часто отвлекают от простой истины: единственный способ гарантировать, что мы случайно себя не взорвем с помощью собственной технологии (или метатехнологии), состоит в том, чтобы делать домашние задания и принимать соответствующие меры предосторожности, как поступили ученые из Манхэттенского проекта, когда подготовили LA-602. Нам надо перестать играть словами и взяться за исследования в области безопасности искусственного интеллекта.
Вот вам аналогия: со времени Манхэттенского проекта ученые-ядерщики переключились со стремления увеличить мощность реакции ядерного синтеза на решение вопроса, как наиболее эффективно ее можно сдерживать, — и мы даже не называем это ядерной этикой.
Мы называем это здравым смыслом.
Какое вам дело до того, что думают другие машины?
Поделиться книгой: