Помоги проекту - поделись книгой:
Я — мыслящая машина, состоящая из атомов, прекрасная квантовая модель задачи многих тел — задача 1029 тел. Я — робот, имеющий опасную склонность самопрограммироваться и не допускать того, чтобы кто-то отключал мое энергоснабжение. Все мы, люди-машины, расширяем свои возможности через симбиоз с другими машинами, например улучшаем зрение, чтобы заглянуть за пределы длины волн в несколько жалких нанометров, доступных нашим предкам, и увидеть весь электромагнитный спектр от пикометра до мегаметра. Мы швыряем 370-килограммовые куски своего улья дальше Солнца на скорости в 252 792 км/ч. Мы расширяем свою память и математические способности в миллиарды раз с помощью кремниевых протезов. И все же наш биомозг в тысячу раз более энергоэффективен, чем наши неорганические мозги, в тех задачах, где у нас есть точки соприкосновения (таких как распознавание лиц и перевод с одного языка на другой) и бесконечно лучше подходит для задач пока еще неизвестной сложности, вроде эйнштейновских инновационных работ в Annus mirabilis[18], затрагивающих будущие века. Поскольку область действия закона Мура простирается от транзисторов, изготавливавшихся на литографическом оборудовании с точностью в 20 нм, до тех, что будут делать с атомарной точностью в 0,1 нм, и от двухмерных схем к трехмерным, мы вправе пренебречь возможностью заново изобретать и моделировать наш биомолекулярный мозг и сразу перейти к их конструированию.
Мы можем с идеальной точностью скопировать петабайты кремневых мозгов за считаные секунды, а передача информации между углеродными мозгами занимает десятилетия, и подобие между копиями едва заметно. Некоторые считают, что мы можем осуществить перенос данных из углерода в кремний и даже сделать так, чтобы кремниевая версия вела себя как оригинал. Однако такая задача требует куда более глубокого понимания, чем простое создание копии. Мы обуздали иммунную систему посредством вакцин в X веке в Китае и в XVIII — в Европе, задолго до того, как узнали о цитокинах и Т-клеточных рецепторах. У нас пока нет медицинского наноробота, обладающего сопоставимой гибкостью или функциональностью. Может оказаться, что создать тождественную на молекулярном уровне копию мозга массой в 1,2 килограмма или 100-килограммового тела легче, чем понять, как это работает (или чем перенести содержимое моего мозга на аудиторию студентов, многозадачно оперирующих электронной почтой и видео с котиками). Это намного более радикальная задача, чем клонирование человека, но она все же не предполагает использования эмбрионов.
Какие проблемы гражданско-правового характера возникают с появлением таких гибридных машин? В прошлом можно было встретить биомозг с почти идеальной памятью, способный воссоздать некое явление в виде выразительной прозы, картины или анимации, и часто он даже бывал почитаем. Но гибридам-полукровкам дня сегодняшнего с усовершенствованной гаджетами памятью запрещено появляться в залах суда, ситуационных комнатах[19], банях и на приватных переговорах. Номерные знаки и лица в Google Street View размыты — так нас намеренно делают жертвами прозопогназии[20]. Должны ли мы калечить или убивать Харрисона Бержерона[21]? Как насчет голосования? Сегодня мы далеки от всеобщего избирательного права. Мы придерживаемся ценза на основании зрелости и здравомыслия. Если я скопирую свой мозг (или тело), получит ли он право голосовать или его следует считать дубликатом? Примем к сведению, что даже точные дубликаты личности с первых секунд существования начинают отличаться от оригинала, а кроме того, копия может содержать преднамеренно внесенные несоответствия. В дополнение к сдаче теста на зрелость, здравомыслие и человечность, вероятно, копии придется пройти обратный тест Тьюринга (или тест Чёрча — Тьюринга). Задача такого испытания будет состоять не в том, чтобы продемонстрировать неотличимое от человеческого поведение, а в том, чтобы продемонстрировать поведение, отличающееся от такового у конкретных людей (интересно, пройдет ли такой тест нынешняя американская двухпартийная система?). Возможно, день корпоративной личности («Дартмутский колледж против Вудварда»[22], 1819) наконец настал. Мы уже голосуем за это своими кошельками. Изменения в покупательных тенденциях приводят к дифференциации в распределении благ, лоббировании, приоритетах научных и конструкторских изысканий и т. д. Возможно, большее число копий определенных мемов, разумов и мозгов станет представлять волю тех, кто будет говорить о себе: «Мы — (гибридный) народ мира». Приведет ли такой дарвиновский отбор к катастрофе или в результате люди больше станут ценить сочувствие и красоту, исчезнут бедность, войны и болезни, появится по-настоящему долгосрочное планирование в масштабах тысячелетий? Возможно, гибридный вариант будущего не только более вероятен, но также и более безопасен, чем какая-либо из двух крайностей: создание неведомого кремниевого мозга или отстаивание древних когнитивных искажений и нашей основанной на страхе «фактоустойчивой» системы выборов.
Машины не могут думать
Машины (сконструированные человеком артефакты) не могут думать, потому что ни у одной из них нет точки зрения — своеобразного взгляда на мирские референции ее внутренней символической логики. Мы как сознательные познающие наблюдатели смотрим на выводы так называемого искусственного интеллекта и создаем собственные референции символических структур, выданных машиной. Впрочем, даже несмотря на это, подобные не-думающие машины стали чрезвычайно важным дополнением человеческой мысли.
У них нет ни «я», ни способности к злому умыслу
Так называемые думающие машины — это расширение человеческого разума. Они не существуют в природе. Они не созданы эволюцией, они созданы людьми из чертежей и теорий. Человеческий разум учится создавать инструменты, позволяющие ему лучше работать. Компьютер — один из лучших инструментов.
Жизнь главным образом стремится поддерживать жизнь, так что живые существа обращают внимание на то, что происходит вокруг. Компьютер, не живой и не созданный эволюцией, не заботится о самосохранении или воспроизводстве — он не заботится вообще ни о чем. Компьютеры не опасны в том смысле, в каком опасны змеи или наемные убийцы. Хотя множество фильмов раскрывают жуткие фантазии о злобных машинах, реальные компьютеры не обладают способностью к злому умыслу.
Думающая машина, которая служит человеку, — это ценность, а не угроза. Только если она становится самостоятельным субъектом, действующим по своему усмотрению, то есть инструментом, восставшим против воли своего создателя, она может оказаться опасной. Тут компьютеру понадобится кое-что большее, чем просто мышление. Ему нужно будет принимать решения, противоречащие пожеланиям программиста. Это потребует чего-то наподобие свободы воли.
Что такого должен будет сделать ваш компьютер или ноутбук, чтобы вы сказали, что он обладает свободной волей (по крайней мере, в том смысле, в котором мы говорим о свободе воле у людей)? Ему определенно придется себя перепрограммировать, иначе он так и продолжит выполнять заданные инструкции. И такое перепрограммирование должно быть гибким, а не сделанным заранее. Но откуда ему взяться? У людей субъектность зарождается потому, что служит мотивационной системе, — она помогает вам получить то, в чем вы нуждаетесь и чего хотите.
Люди, как и другие животные, были созданы эволюцией, и, таким образом, основы субъектности идут рука об руку с желанием обладать и склонностью любить вещи, которые способствуют продолжению жизни, такие как еда и секс. Субъект подчиняется этому желанию, выбирая действия, приводящие к получению предметов, которые поддерживают жизнь. А мышление помогает субъекту делать правильный выбор.
Мышление человека, таким образом, служит продлению его жизни, помогая решить, кому доверять, что есть, как заработать и кого выбрать в спутники жизни. Думающая машина не мотивирована никаким внутренним стимулом поддержания жизни. Компьютер способен обработать большой объем информации быстрее, чем это делает человеческий мозг, но в компьютере нет «я», потому что у него нет желания обладать вещами, которые позволяют поддерживать жизнь. Если бы у компьютеров была потребность в продлении их собственного существования, то они, вероятно, сосредоточили бы свой гнев на компьютерной индустрии, стремясь остановить ее развитие, потому что главная угроза продолжительному существованию компьютера возникает тогда, когда более новые, более эффективные модели делают его устаревшим.
Повышение эффективности человеческого интеллекта
Я знаю думающие мыслящие машины. Это люди. Они — биологические машины (кстати, будьте осторожнее со словосочетанием «биологические машины» — удобное название для того, что мы не до конца понимаем, но о чем думаем, что понимаем). И наоборот, я еще не встречал электронно-цифровой, электромеханической машины, которая вела бы себя так, чтобы заслужить определение «думающей»; я не вижу оснований предполагать, что таковое вообще возможно. Устройства типа ЭАЛ[23], которые когда-нибудь станут управлять нами, я полагаю, так и останутся в области научной фантастики. Если нечто ходит как утка и крякает как утка, это еще не делает его уткой. И если машина демонстрирует некоторые черты мышления (например, способность принимать решения), это еще не делает ее мыслящей.
Мы, люди, легко впадаем в такие заблуждения: «Если оно ходит как утка и крякает как утка, то это утка», — и не потому, что мы глупы, а скорее потому, что мы люди. Именно те черты, которые дают нам возможность большую часть времени действовать в своих интересах, когда мы сталкиваемся с потенциальной информационной перегрузкой в сложных ситуациях, делают нас очень уязвимыми для такого рода соблазнов.
Много лет назад я посетил лабораторию гуманоидной робототехники в Японии. Она выглядела как типичный инженерный отдел Skunk Works[24]. В одном углу стояла металлическая скелетообразная конструкция, увешанная проводами и напоминающая очертаниями верхнюю часть туловища человека.
Круто выглядевшие руки и ладони были, как я полагаю, предметом основной части технических изысканий, но они не работали во время моего посещения, и я их действительно заметил много позже. Все мое внимание с момента, когда я вошел в лабораторию, оказалось приковано к голове робота. На самом деле это вообще была не голова — просто металлический каркас с камерой вместо носа. Над камерой располагались два белых шарика размером с мяч для пинг-понга (возможно, это и были мячи) с нарисованными зрачками. Над глазами помещались две большие скрепки — брови.
Робот был запрограммирован обнаруживать движение людей и источники звука (когда кто-то говорил). Он шевелил головой и глазными яблоками, следуя взглядом за объектом, и поднимал и опускал брови-скрепки, когда человек говорил.
Поразительно, насколько живым и разумным казался этот механизм! Конечно, и я, и все присутствующие точно знали, что именно здесь происходит и насколько прост механизм, управляющий роботизированным «взглядом» и бровями-скрепками. Это был просто трюк, но трюк, основанный на глубоком понимании сотен тысяч лет человеческого социального и когнитивного развития, так что наша естественная реакция на действия робота оказалась такой же, как у любого другого человека.
Дело было даже не в том, что я не знал, в чем тут хитрость. Мой друг и тогдашний коллега по Стэнфорду, ныне покойный Клиффорд Насс, провел сотни часов, исследуя то, как мы, люди, генетически запрограммированы приписывать чему-либо разумную субъектность, основываясь на нескольких простых признаках, связанных с взаимодействием. Реакции эти настолько глубокие и укоренившиеся, что мы не можем от них избавиться. Вероятно, там был некий сложный искусственный интеллект, контролировавший руки робота, но глазами и бровями управляла очень простая программа. Тем не менее описанного поведения оказалось достаточно, чтобы у меня возникало ясное ощущение, что робот — любознательный, разумный слушатель, который в состоянии следить за тем, что я говорю. В действительности же он всего лишь использовал мою человеческую природу и мою разумность. Сам он не думал.
Использование человеческой разумности — это хорошо и даже замечательно, если робот должен убраться у вас дома, забронировать вам билет на самолет или сесть за руль вашей машины. Но вы согласились бы, чтобы такая машина приняла на себя обязанности присяжного, стала принимать важные решения о работе больницы или взялась контролировать вашу свободу? Я бы точно на такое не согласился.
Так что, когда меня спрашивают, что я думаю о мыслящих машинах, я отвечаю: по большей части они мне нравятся, потому что они — люди (и, возможно, некоторые животные). А вот что меня беспокоит, так это то, что мы передаем все больше аспектов нашей жизни машинам, которые решают, и часто куда эффективнее и обстоятельнее, чем люди, но определенно не думают. Вот где опасность: машины, которые могут принимать решения, но не думают.
Принятие решений и мышление — не одно и то же, нам не следует путать эти два понятия. Когда мы развертываем системы принятия решений по вопросам национальной безопасности, здравоохранения и финансов — а мы это делаем, — чрезвычайно высока оказывается опасность такой путаницы. Чтобы защититься от нее, нужно сознавать, что мы генетически запрограммированы действовать в режиме доверия и приписывания разумной субъектности при определенных видах взаимодействий как с людьми, так и с машинами. Но иногда механизм, который ходит вразвалку и крякает, — это просто механизм, а никакая не утка.
Машина — материальная вещь
Машина — это небольшая часть физического мира, которая после выполненных человеком или животным размышлений была упорядочена так, чтобы при установлении некоторых начальных условий законы природы обеспечивали развитие этой небольшой части материального мира определенным образом, полезным для людей или животных.
Машина — материальная вещь, качества которой задаются с позиции разума. Есть разумная точка зрения, и есть материальная точка зрения.
Стюарт Хэмпшир в своей работе «Спиноза: Введение в его философскую мысль» (Spinoza: An Introduction to His Philosophical Thought) утверждал, что, согласно Спинозе, вы должны выбрать: обратиться к разуму для объяснения разумного или к материи для объяснения материального, но вы не можете обращаться к разуму, чтобы объяснять материальное, и наоборот. Чтобы иллюстрировать это положение, давайте предположим, что вы смутились и покраснели. Вы запросто можете сказать: «Я покраснел, потому что смутился». А вот строгий последователь Спинозы, если верить Хэмпширу, не станет утверждать, что причиной покраснения щек было смущение, потому что оно является характеристикой разума, в то время как румянец — характеристика материи. Нельзя допускать пересечения причинно-следственных цепочек, это небрежность мышления. Смущение и румянец комплементарны, но не каузальны.
Таким образом, человек не должен перескакивать с одной формы умопостроений на другую. Мы должны объяснять физическое физикой, а психологическое — психологией. Конечно, очень сложно отринуть представление о психических причинах физических состояний или о материальных причинах состояний ума.
Мне нравится такое представление о мире, и я описываю психическое поведение в психических терминах (любовные муки сделали меня угрюмым), а телесное — в телесных (лекарства испортили мой обмен веществ). Так что, поскольку мне известно, что поведение машины имеет материальное обоснование, я утверждаю, что она не может думать.
Я понимаю, что мне придется изменить свое мнение, если кто-то действительно покончит с комплементарным представлением о разуме и материи и убедительно продемонстрирует, что материя первична по отношению к разуму или что разум — причина материи. Пока, однако, это лишь вопрос веры.
Покуда такой день не настанет — а я не вижу никаких признаков его приближения, — я буду считать, что машины неспособны думать.
Я могу ошибаться
Я не думаю, что мыслящие машины уже существуют или что их появление возможно в обозримом будущем. Если же я ошибаюсь, а такое случается часто, любые мои мысли по данному вопросу, не имеют значения.
А если я прав, то не имеет значения сам вопрос.
Почему нельзя вычислить бытие и счастье
Считающаяся ныне старомодной идея о мыслящих машинах демонстрирует глубокое, но вполне естественное заблуждение о разуме и программном обеспечении. Компьютеры никогда не будут мыслить. Чтобы понять почему, давайте начнем с картошки фри — french fries (к Франции она не имеет никакого отношения). Я предполагаю, что рассматриваемые нами машины — это компьютеры, но вариант доказательства подходит для любой техники.
Ни «french fries», ни «french fried» не являются вычислимыми — ни один компьютер никогда не сможет выдать в качестве результата фразу «french fries» или состояние «french fried». «French fried» невычислимо, потому что это физическое состояние особого объекта, но компьютеры продуцируют только информацию или коды для информации, а не физические объекты и не их преобразования. Счастье также является физическим состоянием конкретного предмета, а именно человека. Счастье не может существовать, если только вы не возьмете человека и не поместите его в это состояние. Компьютеры не способны проделать такое.
Размышление и бытие или (что то же самое) размышление и чувство — крайние точки спектра, определяющего человеческий разум (говоря «чувство», я имею в виду ощущение, эмоцию или настроение, как принято в английском языке). Нам нужен весь спектр целиком, или у нас не будет ни разума, ни мысли в их прямом смысле. Компьютеры способны имитировать важные аспекты размышления (в узком его понимании), но бытие для них недостижимо. Следовательно, для них недостижимо самосознание.
Слово «бытие» — это полезное сокращение, в данном контексте значащее «быть частью физического объекта или системы и естественным образом реагировать на окружение». Нарезанная ломтиками картофелина может быть частью среды фритюрницы и реагировать на нее, становясь обжаренной. Лакмусовая бумажка может быть частью системы «кислота в пробирке» и реагировать, становясь синей. Разум похож на лакмусовую бумажку, но, вместо того чтобы менять цвет, он реагирует на среду, ощущая ее. Если что-то дает нам основания, чтобы быть счастливыми, система «разум-тело» (то есть человек) становится счастливой, а разум испытывает счастье. У счастья есть психические и физические последствия. Вы можете испытать прилив сил, ускоренное сердцебиение и дыхание.
Почему бытие нельзя вычислить? Почему нельзя вычислить счастье? Счастье невычислимо потому, что как состояние физического объекта оно находится вне пространства вычисления. Компьютеры и программное обеспечение не создают физическую материю и не управляют ею. Они могут быть причиной таких действий, выполняемых другими связанными с ними машинами, но сами это проделать неспособны. Роботы могут летать, а компьютеры — нет. (Кстати, ни одно устройство под управлением компьютера не может гарантированно сделать людей счастливыми, но это уже другая история.) Бытие невычислимо — важный факт, который до сих пор упускали из виду, что неудивительно. Компьютеры и разум живут в разных вселенных, как тыквы и Пуччини, их трудно сравнивать, независимо от того, что именно мы хотим продемонстрировать.
Реально ли обойтись без бытия и все-таки получить разумную машину? Нет. Размышление и бытие (или ощущение) определяют разум и его возможности. В верхней части спектра — в максимальной концентрации или фокусе — разум целиком отдается размышлению и отмахивается от отвлекающих эмоций. В нижней части спектра находятся наши сны, состояние, в котором мы почти не думаем — мы целиком заняты ощущением, поскольку галлюцинируем, а зачастую еще и эмоцией (сны всегда исключительно эмоциональны); так или иначе, мы заняты чувством или, иначе говоря, бытием.
Почему на изложение такого простого довода ушло настолько много времени? И почему сейчас так мало мыслителей, склонных его принять? Возможно, потому, что большинству философов и ученых хочется, чтобы разум оказался не чем иным, как мышлением, а чувство или бытие не имели никакого значения, причем хочется настолько сильно, что в конце концов они начинают думать, что так оно и есть. Философы — всего лишь люди.
Ни одна машина не думает над вечными вопросами
Недавно продемонстрированные примеры выдающихся возможностей высокопроизводительных компьютеров замечательны, но неудивительны. При надлежащем программировании машины значительно превосходят людей в плане хранения и оценки больших объемов данных и принятия практически мгновенных решений. Это — мыслящие машины, потому что происходящие в них процессы аналогичны многим аспектам мышления человека.
Но в более широком понимании термин «мыслящая машина» употребляется неправильно. Ни одна машина не задается вечными вопросами: «Откуда я взялась? Зачем я здесь? Куда я иду?» Машины не думают о своем будущем, о своем неизбежном конце или о своем наследии. Чтобы размышлять над такими вопросами, требуется сознание и самосознание. У мыслящих машин их нет, и, учитывая наш нынешний уровень знаний, они вряд ли это получат в обозримом будущем.
Единственный реалистичный подход к созданию машины, сходной с человеческим мозгом, должен основываться на копировании нейронных цепей, лежащих в основе мышления. Более того, исследовательские программы, которые проводятся сейчас в Калифорнийском университете в Беркли, Массачусетском технологическом институте и еще в нескольких университетах, сосредоточены на достижении этой цели — построить компьютеры, работающие подобно коре головного мозга. Последние достижения в области исследования микроструктуры коры головного мозга стали серьезным стимулом, и вполне вероятно, что BRAIN[27] — новый проект Белого Дома — даст массу ценной информации. В ближайшие десятилетия мы узнаем о том, как взаимосвязаны миллиарды нейронов в каждом из шести слоев коры головного мозга, а также о типах функциональных цепей, формируемых такими связями.
Это необходимый первый шаг в разработке машин, способных к мышлению в том виде, который характерен для человеческого мозга. Но понимания микроструктуры коры недостаточно, чтобы построить умную машину. Что необходимо, так это понимание деятельности нейронов, лежащей в основе мыслительного процесса. Визуализирующие исследования обнаружили много новой информации об отделах головного мозга, вовлеченных в такие функции, как зрение, слух, осязание, страх, удовольствие и т. д.
Но у нас еще нет даже примерного понимания того, что происходит, когда мы размышляем. Причин тому множество, и среди них не последнюю роль играет наша неспособность изолировать мыслительный процесс от других физических состояний. Кроме того, различные мозговые цепи вполне могут быть связаны с различными модусами мышления. Когда мы думаем о предстоящей лекции, наш мозг задействуется не так, как когда мы вспоминаем о неоплаченных счетах.
В ближайшее время можно ожидать, что компьютеры будут превосходить людей во все большем количестве занятий. Но нам нужно намного лучше понимать работу человеческого мозга, чтобы создать по-человечески думающую машину. На данный момент нам не надо беспокоиться по поводу гражданских или любых других прав роботов, как не надо бояться, что они захватят власть. Если машина вдруг выйдет из под контроля, достаточно будет вытащить вилку из розетки.
Сингулярность — городская легенда?
Сингулярность — тот роковой момент, когда искусственный интеллект превзойдет своих создателей в разумности и захватит мир, — это мем, заслуживающий того, чтобы над ним поразмыслить. У него есть характерные признаки городской легенды: некоторое научное правдоподобие («Ну, в принципе, я полагаю, такое возможно!») и замечательная, вызывающая дрожь кульминационная фраза («Нами будут править роботы!»). «А ты знаешь, что если ты одновременно чихнешь, рыгнешь и пукнешь, то умрешь?» — «Да ладно, правда?» После десятилетий шумихи по поводу искусственного интеллекта можно было бы думать, что люди станут считать сингулярность шуткой, но, как оказалось, обеспокоенность общества этой идеей только растет. Добавьте несколько известных новообращенных — Илона Маска, Стивена Хокинга и Дэвида Чалмерса — к ряду других громких имен, и вы уже не можете не принимать ее всерьез. Когда случится это выдающееся событие — через десять, сто или тысячу лет? Может, благоразумнее будет уже сейчас начинать планировать, строить баррикады и повышать бдительность, высматривая предвестников катастрофы?
Я, напротив, думаю, что эти тревожные сигналы отвлекают нас от более насущной проблемы — от нависшего над нами бедствия, которое гораздо ближе и которому не нужна никакая помощь со стороны закона Мура или грядущих прорывов в теоретической науке. Мы в течение нескольких веков с огромным трудом постигали природу, сегодня накопленные знания позволяют нам впервые в истории контролировать многие аспекты наших судеб — и вот мы готовы отречься от этого контроля в пользу бездумных искусственных агентов и преждевременно поставить цивилизацию на автопилот. Соблазн поступить так коварен, потому что каждый следующий шаг сам по себе — предложение, от которого невозможно отказаться. Вы бы выглядели сегодня полным дураком, если б делали сложные арифметические вычисления с помощью карандаша и бумаги, тогда как карманный калькулятор намного быстрее и почти стопроцентно надежен (не забываем об ошибке округления). Зачем запоминать расписание поездов, когда его в любой момент можно посмотреть на смартфоне? Оставьте чтение карты вашему GPS-навигатору; да, он вовсе не умный, но он куда лучше вас справляется с задачей — не дает вам сбиться с маршрута.
Поднимемся выше по технологической лестнице: врачи все больше зависят от диагностических систем, которые объективно надежнее, чем любой специалист-человек. Вы бы хотели, чтобы ваш доктор отверг подготовленное машиной заключение, когда речь идет о выборе лечения для спасения вашей жизни? Это может оказаться лучшим — объективно наиболее успешным, непосредственно полезным — применением технологии, используемой в IBM Watson[28], и вопрос о том, можно ли считать этот компьютер разумным (или сознательным), к делу не относится. Если окажется, что Watson лучше, чем эксперты-люди, справляется с постановкой диагнозов на основе доступных данных, то нашей нравственной обязанностью будет пользоваться результатами его работы. Врач, который решает пренебречь рекомендациями такой машины, сам напрашивается на судебный иск о злоупотреблении служебным положением. По-моему, ни одна область человеческой деятельности не застрахована от использования таких протезов-оптимизаторов, и везде, где бы они ни появились, мы вынуждены делать выбор в пользу надежных результатов, а не человеческих отношений, как это было прежде. Рукотворные законы и даже рукотворная наука могут занять место рядом с кустарной керамикой и свитерами ручной вязки.
В самые первые дни существования искусственного интеллекта была предпринята попытка провести четкое различие между ИИ и когнитивным моделированием. Предполагалось, что первый станет отраслью инженерного дела и будет работать как угодно, не пытаясь подражать человеческим мыслительным процессам, кроме тех случаев, когда это окажется эффективным. Когнитивное моделирование, напротив, представляло собой дополнение к психологии и нейробиологии. Модель когнитивного моделирования, которая убедительно продемонстрировала бы характерные человеческие ошибки или затруднения, стала бы триумфом, а не провалом. Такое различие в стремлениях продолжает существовать, но почти стерлось из общественного сознания. Для дилетантов искусственный интеллект — это штука, способная пройти тест Тьюринга. Недавние достижения в области ИИ стали в основном результатом того, что мы отказались от моделирования человеческих мыслительных процессов (которые, как мы думали, мы понимаем) и перешли к использованию удивительных возможностей суперкомпьютеров для майнинга данных, чтобы извлечь оттуда важные связи и паттерны. При этом мы уже не пытаемся сделать так, чтобы компьютеры понимали, что делают. По иронии судьбы, такие впечатляющие результаты побуждают многих когнитивистов пересмотреть свою позицию; оказывается, что надо еще многое узнать о том, как мозг осуществляет свою блестящую работу по «продуцированию будущего», и в этом нам помогут методы машинного обучения и майнинга данных.
Но общественность будет упорно предполагать, что любой черный ящик, который способен проделывать такие штуки (безотносительно последних успехов в области разработки искусственного интеллекта), — это разумный агент, во многом похожий на человека, тогда как на самом деле то, что находится в ящике, — это причудливо нарезанная двумерная ткань, сила которой как раз в том и заключается, что у нее нет надстройки в виде человеческого разума со всеми его особенностями: склонностью отвлекаться, волноваться, испытывать эмоции, переживать воспоминания и строить личные привязанности. Это вообще не гуманоидный робот, а бездумный раб, последняя модель автопилота.
В чем проблема с тем, чтобы передать нудную мыслительную работу таким высокотехнологичным штуковинам? Да ни в чем, при условии, что (1) мы не будем сами себя вводить в заблуждение, и (2) нам как-то удастся не допустить атрофии собственных познавательных навыков.
1. Очень-очень трудно принять свойственные нашим помощникам ограничения и не забывать о них, равно как и не забывать о склонности человека всегда приписывать компьютерам разумность, как мы знаем еще со времен печально известной программы «Элиза», написанной Йозефом Вайценбаумом в 1960-х годах. Это очень опасно, ведь мы всегда будем испытывать желание требовать от них большего, чем то, для чего мы их создали, а также доверять полученным ими результатам, когда этого лучше не делать.
2. Используй или потеряешь. Поскольку мы все сильнее зависим от когнитивных протезов, то рискуем стать беспомощными, если они когда-нибудь перестанут работать. интернет — не разумный агент (ну, в каком-то смысле, может, и разумный), но мы тем не менее стали настолько от него зависеть, что, если бы он вдруг сломался, началась бы такая паника, что общество оказалось бы уничтожено за несколько дней. Кстати, к предупреждению этого события нам надо сейчас приложить все усилия, потому что оно может произойти в любой момент.
Реальная опасность — это не те машины, которые станут умнее нас и узурпируют роль хозяев наших судеб. Реальная опасность — это машины, по сути безмозглые, но наделенные нами полномочиями, значительно превосходящими уровень их компетентности.
Наноинтенциональность
Несмотря на огромный прирост вычислительной мощности, нынешние компьютеры думают не так, как это делаем мы (или шимпанзе, или собаки). У основанных на кремнии компьютеров отсутствует важнейшая способность органического разума — способность изменять свою материальную форму и, следовательно, свои будущие вычисления в ответ на события, происходящие в мире. Без этой способности (которую в других работах я назвал наноинтенциональностью), с одной только обработкой данных, нельзя получить мысль, потому что у вычисляемых символов и значений отсутствует какая-либо внутренняя причинно-следственная связь с реальным миром. Любая информация, полученная в результате работы кремниевого процессора, нуждается в интерпретации людьми, чтобы обрести значение, и так все останется и в обозримом будущем. У нас мало причин для того, чтобы бояться разумных машин, куда больше их для того, чтобы бояться все более неразумных людей, которые их используют.
В чем именно выражается особенность биологического, а не кремниевого компьютера? Не бойтесь, я не имею в виду какой-то мистический élan vital[30]. Это наблюдаемая, механистическая особенность живых клеток — особенность, которая развилась посредством обычных эволюционных процессов. В моих построениях нет никакой мистики или «незримого духа». По сути, наноинтенциональность — это способность клеток отвечать на изменения в окружающей среде, перестраивая свои молекулы и, таким образом, изменяя форму. Это свойство есть у амебы, хватающей бактерию, у мышечной клетки, повышающей уровень миозина в ответ на пробежку, или (что наиболее актуально) у нейрона, вытягивающего свои дендриты в качестве реакции на локальную нейровычислительную среду. Наноинтенциональность — основная, непреодолимая, бесспорная особенность жизни на Земле, которой нет у печатных кремниевых микросхем, формирующих «сердце» современного компьютера. Поскольку такое физическое различие между мозгом и компьютером — простой и грубый факт, то остается открытым вопрос: насколько большое значение он имеет для более абстрактных философских проблем, касающихся понятий мысли и значения. И тут ситуация становится сложнее.
Философские обсуждения начинаются с утверждения Канта о том, что наш разум неизменно отделен от типичных объектов наших размышлений — физических сущностей в реальном мире. Мы получаем сведения о них (через фотоны, воздушные колебания или испускаемые молекулы), но наш разум/мозг никогда не вступает с ними в прямой контакт. Таким образом, вопрос о том, как можно утверждать, что сущности нашего разума (мысли, убеждения, желания) якобы направлены на вещи в реальном мире, оказывается неожиданно сложен. Действительно, направленность — это центральная проблема в философии сознания, основа многолетней полемики между такими философами, как Деннет, Фодор и Сёрл. Философы несильно помогли внести ясность, назвав эту мнимую умственную направленность интенциональностью (не путать с обычным значением слова в английском языке: «делать что-то нарочно, умышленно»). Вопросы интенциональности тесно связаны с глубинными проблемами феноменологии сознания, часто выражаемыми терминами «квалиа» и «трудная проблема сознания»[31], но они обращены к более простому и фундаментальному вопросу: как может ментальная сущность (мысль — паттерн нервного возбуждения) быть в любом смысле этого слова связана со своим объектом (вещью, которую вы видите, или человеком, о котором вы думаете)?
Вот ответ скептика, солипсиста: такой связи нет, интенциональность — иллюзия. Это заключение ложно по крайней мере в одной важнейшей области (замечание сделано Шопенгауэром 200 лет назад): единственным местом, где ментальные явления (желания и намерения, что инстанцируется в нервном импульсе) вступают в контакт с реальным миром, являются наши собственные тела (например, нейромышечное соединение). Пластичность живой материи в целом и нейронов в частности означает, что петля обратной связи непосредственно соединяет наши мысли с нашими действиям, просачиваясь обратно через восприятие, где влияет на структуру самих нейронов. Петля каждый день замыкается в нашей голове (в самом деле, если вы завтра вспомните хоть что-нибудь об этом эссе, то лишь потому, что некоторые нейроны в вашем мозгу изменили свою форму, ослабив или усилив синапсы, расширив или сократив число связей). Такой контур обратной связи в принципе не может замкнуться в жестком кремниевом чипе. Это биологическое качество обеспечивает умственную деятельность у человека (а также у шимпанзе и собаки) с присущей ей внутренней интенциональностью, которой нет у современных кремниевых вычислительных систем.
Если утверждение верно (а мои логика и интуиция его поддерживают), машины «думают», «знают» или «понимают» что-либо только в той мере, в какой это делают их создатели и программисты, когда значение добавляется интенциональным, истолковывающим агентом, обладающим мозгом. Любой «интеллект» у компьютера — это исключительно интеллект работающих с ним людей.
Поэтому я не боюсь, что роботы восстанут или начнут бороться за свои права (если только их защитой не решат заняться заблуждающиеся люди). Означает ли это, что можно не беспокоиться до тех пор, пока кто-то не изобретет компьютер с наноинтенциональностью? К сожалению, нет: существует другая опасность, которая исходит от нашей чрезмерной склонности ошибочно приписывать намерение и понимание неодушевленным предметам («Моей машине не нравится низкооктановое топливо»). Думая так о вычислительных артефактах — компьютерах, смартфонах, системах управления, — мы постепенно передаем им (и тем, кто их контролирует) свою обязанность — информированное, компетентное понимание. Ситуация становится опасной, когда мы охотно и с ленцой уступаем ее бесчисленным кремниевым системам (автомобильным навигаторам, смартфонам, системам электронного голосования), которые не только не задумываются о том, что именно они вычисляют, но даже и не знают об этом. Глобальный финансовый кризис дал нам почувствовать, что может произойти в мире, связанном компьютерами, когда реальная ответственность и реальные компетенции окажутся неблагоразумно свалены на машины.
Я боюсь не успешного восстания искусственных интеллектов, а скорее катастрофического сбоя, вызванного множеством мелких ошибок в кремниевой системе, которую наделили слишком большими полномочиями. Нам все еще далеко до сингулярности, когда компьютеры станут умнее нас, но это не значит, что нам не следует беспокоиться о глобальном сетевом коллапсе. Чтобы сделать первый шаг к предотвращению таких катастроф, нужно перестать перекладывать на компьютеры собственную ответственность и понять и принять простую истину: машины не думают. А то, что мы принимаем за их мышление, становится с каждым днем все опаснее.
Игры (и пророчества) разума
Машины великолепно справляются с вычислениями, но при этом не очень хорошо — с мышлением как таковым. У машин бесконечный запас упорства и настойчивости, и, как кое-кто говорит, они могут легко разгрызть сложную математическую проблему или помочь вам проехать через пробки в незнакомом городе, но все это — благодаря алгоритмам и программам, созданным людьми. Чего же машинам не хватает?
Машинам не хватает ви́дения (по крайней мере пока, и я не думаю, что наступление сингулярности это изменит). Я имею в виду отнюдь не зрение. Компьютеры не сами придумывают новое приложение, которому суждено стать популярным. Компьютеры не принимают решение исследовать далекие галактики — они прекрасно справятся с задачей, когда мы их туда отправим, но это уже другая история. Компьютеры, конечно, лучше среднестатистического человека работают в области высшей математики и квантовой механики, но у них нет видения, чтобы в принципе обнаружить необходимость в таких действиях. Машины могут выигрывать у людей в шахматы, но они еще не изобрели интеллектуальную игру, что займет человечество на столетия. Машины видят статистические закономерности, которые пропустит мой слабый мозг, но они не в состоянии выдвинуть новую идею, что соединит разрозненные наборы данных и создаст новую область науки.
Я не так уж сильно беспокоюсь по поводу машин, способных вычислять. Я как-нибудь переживу постоянные вылеты браузера, но пусть у меня будет умный холодильник, способный отслеживать RFID-коды лежащих в нем и вынимаемых из него продуктов и посылать мне СМС с напоминанием купить сливки по пути домой (пользуясь случаем, обращаюсь к тем, кто работает над такой системой: поторопитесь!). Мне нравится, когда компьютер подчеркивает незнакомые ему слова, и пусть среди них иногда оказывается какая-нибудь «филогенетика», я могу находить опечатки в общеупотребительных словах (и прямо сейчас он тоже не позволяет мне писать с ошибками). Но эти примеры показывают: само по себе то, что машина демонстрирует нечто похожее на мышление, еще не означает, что она на самом деле мыслит — или, по крайней мере, что она мыслит подобно человеку.
Мне вспоминается одно из самых первых исследований в области обучения обезьян использованию языка — где они должны были манипулировать пластиковыми фишками, чтобы отвечать на разные вопросы. Впоследствии эксперимент повторили со студентами, которые — что неудивительно — исключительно преуспели в освоении системы, но когда их спросили, чем они занимались, те сказали, что решали какие-то интересные головоломки и понятия не имели, что их обучали языку. Последовало широкое обсуждение, и мы многое открыли и многому научились в ходе новых исследований. Несколько особей, не являющихся людьми, смогли понять референтное значение различных символов, пользоваться которыми их учили, и мы многое узнали об интеллекте обезьяны в рамках оригинальной методологии. Смысл этой истории таков: то, что первоначально казалось сложной лингвистической системой, потребовало намного большей подготовки, чем предполагалось изначально, чтобы стать чем-то большим, нежели серия относительно простых парных ассоциаций.
Так что меня беспокоят не мыслящие машины, а самодовольное общество, готовое отказаться от своих мечтателей в обмен на возможность не делать трудную работу. Люди должны воспользоваться собственными познавательными мощностями, которые освободились, когда машины взяли на себя грязную работу, быть благодарными за такую свободу и использовать ее, направляя свои способности на решение сложных насущных проблем, для которых требуется проницательность и пророческое видение.
Колосс — это БДВ[32]
Если я дам вам один цент, вы скажете, о чем задумались? Не обязательно отвечать, смысл сказанного мною заключается в том, что вы как сознательный субъект это можете. Значит, у вас есть доступ к интроспекции. Вы знаете — и можете сказать, — что происходит на сцене в театре вашего разума. А как насчет машин? Если дать мыслящей машине один биткоин, она скажет, о чем задумалась? Никому еще не удалось создать машину, способную на такое. Витгенштейн заметил, что, если бы лев умел говорить, мы бы его не поняли. Если бы компьютер умел говорить, ему нечего было бы сказать. Что я могу сказать о мыслящих машинах? Все просто. Я не думаю, что на данный момент такие машины существуют.
Конечно, ситуация может скоро измениться. В далеком прошлом в ходе естественного отбора обнаружилось, что, с какими бы конкретными проблемами ни столкнулся человек, наличие мозга, способного к интроспекции[34], имеет практические преимущества. Так что люди, которые программируют машины, вполне могут прийти к мысли, что раз это работает с нами, то сработает и с компьютерами — если те столкнутся с проблемами, для решения которых нужна интроспекция. Но что это за проблемы и почему я говорю про какой-то театр сознания?
Поделиться книгой: