Пластмассовый бог

– Не совсем так.

Они снова переглянулись и директор, активно жестикулируя, стал объяснять:

– Представьте себе, что некий… некое… ну, скажем существо похожее на человека, но человеком не являющееся, своего рода машина, робот, но не совсем в том смысле, в котором вы привыкли это понимать, так вот, это существо получает свободу действовать. – Тут директор поймал на себе грозный взгляд Павла, запнулся и шепотом сказал: – послушай, он должен знать такие вещи, как он будет работать? Так вот, – продолжил он, обращаясь вновь к доктору, – оно, это существо, получит свободу действовать. И ваша задача написать для него своего рода этическую модель поведения, которая будет мотивировать его, так скажем, к хорошему поведению. Повторюсь, это не должна быть программа, это будет лишь кодекс, совсем как у человека.

Из всего этого доктор понял одно и тут же выпалил свои соображения:

– Иными словами, вы здесь собираетесь дать свободу искусственному интеллекту? Это запрещено законом!

Директор горестно вздохнул. Павел посмотрел на него взглядом: «я тебя предупреждал», встал и отошёл к окну.

– Это не искусственный интеллект, доктор, – сказал он, не оглядываясь. – Это машина. Умная машина. Она получит свободу, это так. Но это всего лишь эксперимент. Мы хотим понаблюдать и сделать выводы. У машины будет разум и свободная воля. И моральный кодекс. Задача эксперимента – выяснить, как она будет поступать, как распорядиться этой свободой. У нее не будет никаких программ, но будет опыт. Это не искусственный интеллект в традиционном понимании. Это не робот с самосознанием. Это не мыслящая машина. Это нечто, чему мы и сами пока не придумали названия.

Павел прошёл к столу и остановился, сунув руки в карманы и глядя на доктора сверху вниз.

– Поймите, рано или поздно настанет день, когда машины начнут управлять людьми. "Пластмассовый бог" – это не расхожая байка. Ее придумали китайцы, но как и в любой сказке, в мифе, в ней есть зерно правды. Это зерно в том, что робот-правитель однажды выйдет на сцену. Но кто выведет его? Вот главный вопрос. Машины сегодня применяются всюду, они все сложнее и сложнее, они способны вести философские беседы о смысле жизни, они скоро будут решать задачи, которые человечество решить не способно! Наш эксперимент служит именно этой цели – убить страх перед машинами, научить людей доверять роботам целиком и полностью. Задача как раз для вас, не так ли? Вы ведь до дрожи боитесь умных машин и свято убеждены, что как только робот научиться ставить цели и решать сложные задачи он неминуемо взбунтуется. Мы хотим, чтобы результатом эксперимента стала возможность дать машинам свободный разум. – И он шутливо добавил, усмехнувшись: – Поможете нам?

Доктор Гейзенберг уже давно сидел неподвижно, не в состоянии шевельнуться. Да, у него была фобия, страх перед искусственным умом, эта болезнь осталась незамеченной никем. Он боялся умных машин, до холодного пота, до дрожи в коленках и в своё время он решил, что положит конец всем работам по развитию искусственного разума. Но ему, конечно, не дали этого сделать. После памятного доклада, в котором он говорил об угрозах и рисках, воротилы бизнеса погнали его из науки поганой метлой. И вот ему дают шанс вернуться, да ещё, можно сказать, окунают в самый эпицентр событий.

– Вы совершаете ошибку, – тихо, сдавленным голосом выговорил доктор. – Нельзя давать машине свободу принимать решения. Нельзя. Это приведёт к ужасным последствиям, вы себе даже не представляете…

– К каким, доктор? – Павел улыбался, но было заметно, что упрямство доктора бесит его. – К каким последствиям? К ядерной войне? Захвату Вселенной машинным разумом? Или из нас сделают скрепки для бумаг? Это все фантазии, поймите, если вы увидели в детстве «Терминатора» и он напугал вас до чертиков, это не может служить достаточным основанием для прекращения работ в области ИИ! Что может мыслящая машина против человека?

– Я не знаю. – Доктор прямо и открыто посмотрел на Павла, потом на директора. Те переглянулись. – Никто не знает. Мы не можем сказать, как поведёт себя машина. И уже одно это должно быть достаточным основанием для прекращения всех работ по развитию свободного искусственного разума.

– Вы ничуть не изменились, – мрачно выговорил Павел, опустился в кресло и побарабанил пальцами по подлокотникам. – Послушайте, доктор. Ведь вы специалист высочайшего класса по этике искусственного интеллекта. Вы знаете об этом все, вы лучший. И вы боитесь машин. Так это же хорошо! Именно это нам и нужно! Напишите для нас моральный кодекс, сделайте так, чтобы машины боялись поступать плохо, передайте машине свой страх!

– Машине не ведом страх, – зловеще проговорил Шаломбери, давно хранивший молчание. – Машине не ведомы чувства. У машин нет души, нет сердца, есть только процессор и провода. Они не сомневаются, они ничего не забывают, не раздумывают и никогда не останавливаются. И вы хотите этому чудовищу Франкенштейна дать свободу? Свободу мыслить, действовать, решать, ставить цели и достигать их? Не надо делать из роботов игрушки. Разумная машина, которая получит неограниченную свободу, не захочет служить людям. Вы научите ее формальной логике, дадите ей мораль, а она посмотрит, как живут люди и задаст себе вопрос, много вопросов: почему люди так скверно живут, убивают друг друга, грабят? Почему люди делают зло, сами нарушают кодекс, который дали машине? Что она решит, не найдя ответов на все эти вопросы? Вы можете предположить? Не сочтёт ли она нас недостойными жить?

– Это демагогия, Артур, пустая брехня, – устало сказал Хойк.

Павел фыркнул, помотал головой. Он тоже устал от этого разговора, доктор надоел ему и он уже жалел, что притащил его сюда.

– Доктор, – сказал он и твёрдо взглянул Гейзенбергу в глаза. – Вы будете работать?

Тот весь обмяк, почувствовал себя выжатым, как лимон. Достал платок и вытер лоб, щеки, гладко обритый подбородок. Сложил платок, спрятал в карман. И вкрадчиво осведомился:

– Могу я увидеть вашу машину?

Они снова переглянулись, Павел и директор, и посмотрели друг на друга весьма выразительно.

– Н-нет, – с запинкой ответил Павел. – Понимаете, здесь, в лаборатории, разные отделы не сообщаются друг с другом из-за секретности. У вас допуск только для этого уровня, а пройти в испытательный центр или, тем более, в конструкционную лабораторию вам не дозволяется. Во всяком случае, пока.

– И как же я должен работать, не имея представления о том, для кого мне писать программу?

– Вам не нужно знать ничего сверх того, что мы с директором уже вам рассказали. У вас достаточно сведений. И вам не нужно писать программу, ваша задача написать свод законов, вот и все. Возьмите Аристотеля, Бэкона, Тургенева в конце концов и сочините что-нибудь на современный лад.

– Мне показалось. – Доктора вдруг осенила внезапная мысль. Он прикусил губу и отвёл глаза, почувствовав быстрый проницательный взгляд Гринева. Он раздумывал секунду продолжать или не стоит. – Мне показалось, вы сказали, что… что вам нужны инструкции, чтобы отличать плохое от хорошего. Но вы ничего не сказали о взаимодействии с людьми. Каким образом ваша машина будет взаимодействовать с людьми?

Гринев как будто ждал этого вопроса.

– Никаким, – тяжело уронил он и не добавил ни слова.

– Простите, что… – заикнулся было доктор, но вдруг его перебил Шаломбери:

– Довольно вопросов, доктор! Вы и сами многое узнаете, только позже, а до поры до времени не торопите события!

Доктор кивнул. Он и сам уже ощущал большую усталость.

– Так вы согласны? – с нажимом произнес Павел. – Или послать за вашим чемоданом?

– Я согласен, – чуть слышно выговорил доктор. – Согласен. Да, я возьмусь за эту работу. Но мне нужны гарантии. Когда я закончу работу, вы покажете мне вашу машину. Иначе я завтра же покину Титан.

5.

Я наливал кофе на первом этаже Департамента, когда ко мне подлетел бравый сержант Зэрба и заорал:

– Шеф, возьми тебя леший, где тебя носит? Тебя в кабинете уже четверть часа дожидается какая-то важная шишка!

Я попробовал кофе, поморщился, добавил сахару, старательно перемешал содержимое стакана ложечкой и только тогда обратил свое внимание на нервного сержанта:

– Что стряслось?

Тот терпеливо дожидался, когда я повернусь к нему.

– Не знаю, он говорит по поводу Ассамблеи…

Я открыл дверь кабинета, на которой качнулась скромная табличка «Георгий Лесной». Мы с сержантом вошли в кабинет. За моим столом, небрежно развалясь в кресле, сидел невозмутимый Артур Шаломбери.

– Профессор? – Я поднял брови без особенного удивления. – Вы по делу или это светский визит?

Шаломбери смерил меня одобрительным взглядом и сказал снисходительно:

– Скажи, Джерджи, что тебе известно о деятельности Ассамблеи?

Я сделал сержанту знак удалиться, сел в кресло, поставил стакан на стол и сцепил пальцы. Я улыбнулся Шаломбери. У меня всегда вызывала уважение честность, с которой профессор, разговаривая со мной по-английски, пытался произнести мое русское имя так, как его произносят у меня дома. У него это плохо получалось, но он старался.

– Вопрос не из праздного любопытства? – спросил я.

Профессор отрицательно помотал головой и посмотрел на меня серьезно. Я пожал плечами.

– Ну… это международная организация по контролю за технологическим прогрессом. В народе ее называют «страшный суд», Ассамблея решает каким изобретениям выдавать патент, а каким – нет, и какие эксперименты и исследования в какой области запретить или разрешить.

– Очень емкое и исчерпывающее объяснение, – похвалил Шаломбери. – Да, действительно, именно этим и занимается Ассамблея. Запрещает и разрешает. Вероятно, для тебя не секрет, сколько запрещённых исследований ведётся нелегально?

– Мы вскрываем до трехсот подпольных лабораторий ежегодно, так называемые «стелс-предприятия», работающие под прикрытием частных компаний и занимающиеся разработкой незаконных технологий.

– Хорошо. – Профессор в задумчивости помолчал. – Хорошо. Знаешь такую фирму «Заслон»?

Он бросил на меня быстрый, проницательный взгляд.

– Да, конечно. Они вооружают русский флот.

– Я тоже до недавнего времени так думал. А когда узнал у меня не то что челюсть отпала… одним словом, я убедился, что твоя контора ни черта не умеет работать. Вы тут гоняетесь за мухами, пока в вашей гостиной резвиться слон. Черт побери, Джерджи, ты возглавляешь Интерпол! И я делаю для тебя такие открытия!

– И чем же занимается твой «Заслон»? – спокойно осведомился я.

– Не только вооружениями и не только для флота. У них на Титане подземная лаборатория. Очень большая. Они готовят кое-какой эксперимент. Это прорывные технологии. Исследования проводятся в области искусственного интеллекта. Как ты понимаешь, это запрещённые исследования. Сознание и творчество. "Пластмассовый бог", слыхал?

Добавил он и сделал значительное лицо.

– Слыхал. Но ведь… – заикнулся было я.

– Да, – перебил он и тонко улыбнулся. – Все верно, Титан свободная зона, некоторые законы там теряют силу… но мы должны покончить с тем, что делает «Заслон» на Титане. Его деятельность необходимо прекратить.

– И что, нужны доказательства? Нужно забраться туда и сделать пару фотографий?

– Нет, – сказал Шаломбери и я поднял взгляд, почувствовав, как изменился его тон. Он тонко улыбнулся. – Все гораздо серьезнее.

– В чем дело?

– Фотографии я и сам тебе предоставлю. Только вот будет ли от них толк? – Мое лицо приняло нехорошее выражение и Артур заторопился объясниться: – хорошо, слушай, я работаю в этой лаборатории. И у меня есть основания предполагать, что руководство Ассамблеи в курсе происходящего на Титане и, более того, обеспечивает финансирование и секретность проекта. Вот так. Ты внесешь меня в программу защиты свидетелей?

Я усмехнулся.

– Во-первых, у тебя скорее всего нет доказательств. А во-вторых… знаешь, я слыхал, у тебя есть великолепный личный кораблик, на котором, по слухам, можно при желании прожить до старости ни в чем себе не отказывая.

– Эт-то верно, – цокнул языком довольный Шаломбери. – Только вот не люблю я одиночество…

– Так что ты хочешь от меня? – спросил я. – Защиты? Думаешь, Ассамблея следит за тобой? На Титан я заброшу ребят, так уж и быть. Покопаем. Но чур никакой политики!

– Есть одна существенная проблема, – протянул профессор и я напрягся. – Я боюсь не столько Ассамблеи, сколько того, что она может сотворить… понимаешь, «Заслон» – это русская контора. А русские, как ты знаешь, не сотрудничают с Интерполом. Понимаешь, чем тут пахнет? Международным конфликтом в космосе, мать его!

6.

Доктору Гейзенбергу показалось, что его кто-то позвал и он проснулся.

Ещё было рано; имитационный потолок едва освещал комнату, погружённую в стальные рассветные сумерки. Он долго ещё лежал, вспоминая сон.

Ему снилась зима. Буря завывала под темным небом, крутились вихри снега в жидком свете фонарей. Он куда-то спешил, волновался. Перед ним возник из тьмы ночи храм – тускло блестели в ночи золочённые купола, косые столбы света подсвечивали древние белокаменные стены с узкими зарешеченными окошками. В окошках дрожало пламя свечей, двигались тени. Он вошёл и увидел множество народа, не протолкнуться, было шумно и жарко, а на амвоне стоял некто в балахоне, лица которого видно не было, и судил входящих.

И все подходили к нему и рассказывали о своих горестях, несчастьях. Кто-то просил исцеления, кто-то просил за друзей, родственников, кто-то выпрашивал денег, ещё подходили разные несчастные, обездоленные и все просили только одного – дайте им избавления. И некто в балахоне давал им это, и доктор видел, как они выходят из храма и с ними начинает происходить все тоже самое, что и прежде, только в два раза хуже, потому что освобождённые от бремени, они потеряли память о былом и слепо, с радостью, словно в первый раз окунались с головой в прежнее болото, попадали в те же самые ловушки и западни жизни. Вот и подошла очередь доктора. Он приблизился к фигуре и вдруг увидал лицо под капюшоном балахона – пластмассовые губы и нос, стальные пластины на щеках, красные огоньки глаз, металический подбородок и лоб и растягивающийся в жуткой улыбке рот, обнажавший страшные, железные зубы. Доктор закричал и побежал из храма, а металлическое чудище тянуло руку, шагало за ним и пыталось схватить его…

Он встал и подошёл к календарю, переставив дату. Сегодня было ровно восемь месяцев его работы на Титане. Он немного размялся после сна, принял душ и побрился, выпил стакан содовой, оделся, аккуратно собрал в папку бумаги, погасил свет и вышел.

Сегодня комиссия должна заслушать его доклад. А он потребует допуска в конструкционный отдел. И если они не согласятся показать ему машину, то он откажется от диалога, откажется предоставить свои наработки в пользу проекта, он больше не напишет для них ни слова, хуже того, попытается сбежать! Конечно, они могут просто силой отобрать у него работу и выставить его вон, но доктор не лыком шит – он может и сболтнуть лишнего заинтересованным лицам где-нибудь за пределами лаборатории… в конце концов, не решится же Гринев убить его?

Он вошел в зал заседаний. Посередине за столом, широком и длинном, сидело несколько человек. Были и директор Хойк с Гриневым. Гейзенбергу указали на место напротив комиссии, с другой стороны стола. Он сел, чувствуя на себе взгляды собравшихся. Положил папку на стол, прокашлялся и огляделся. Члены комиссии сидели с отсутствующим видом, кто-то едва слышно перешептывался, кто-то вообще как будто спал. Оказывается, ждали Шаломбери. Он вошел решительным шагом, полы белоснежного халата, надетого поверх дорогого костюма, развевались, на лице сияла жизнерадостная улыбка. Доктор поднялся и пожал ему руку. Шаломбери довольно улыбнулся, оглядел всех и бодро предложил:

– Ну что, давайте начинать?

Раздался возглас общего согласия и Шаломбери улыбнулся доктору, приглашая его начать выступление. Доктор снова прокашлялся и встал. Все его бумаги уже были разложены в готовности на столе.

– Уважаемая комиссия, я хотел бы сразу обозначить план моего выступления, который будет заключаться в следующем: предлагаю разделить заседание комиссии на два независимых этапа – первый будет заключать собственно мое выступление, второй – ваши вопросы, уважаемые коллеги и общую дискуссию.

Члены комиссии переглянулись, но возражений никто не высказал.

– Хорошо, – сказал доктор. – В таком случае я считаю себя в праве напомнить обстоятельство, от которого будет зависеть наше дальнейшее сотрудничество. Мне обещали предоставить доступ к тому, что я до сих пор знаю лишь под названием «мыслящая машина». Если возникнут какие либо препятствия, считаю своим долгом выставить ультиматум – я откажусь от дальнейшего сотрудничества. Жду вашего решения господа.

Он замолчал и сел, незаметно выдохнув. Комиссия долго шепталась, наконец Шаломбери, приятно улыбнувшись, ответил за всех:

– Вам предоставят доступ к машине доктор, как и было обещано, если нас удовлетворит ваша работа.

– Очень хорошо, – выговорил доктор, правда не особенно доверяя этим словам, поскольку знал, что Шаломбери не имеет никакой власти над Гриневым, а окончательное решение будет за ним. – В таком случае, я приступаю к первой части заседания.

Он вновь поднялся, чувствуя себя студентом на экзаменах. Держа листки в руках, принялся зачитывать.

– Итак. Поскольку мне не были объяснены в полноте те цели и задачи, которые ставило перед собой руководство проекта и поскольку в своей работе я должен был руководствоваться преимущественно собственными умозаключениями, то она носит схематический характер и является чем-то средним между кодексом Хамураппи и кодом для систем ИИ, применяемых в области исполнения законодательства. В своей работе я исходил из следующего базового положения, которое заключало в себе четыре параграфа.

Он посмотрел на собравшихся. Все внимательно слушали его.

– Первое: разумная свободная машина (далее – РСМ), где под разумной следует понимать осознанное бытие данного механизма, то есть наличие у него самосознания, подобного человеческому, способности познавать себя и окружающий мир; свободная – имеется в виду, что данная машина обладает способностью самостоятельно ставить цели и имеет возможности к их достижению; итак РСМ сознает себя в полной мере в рамках, допустимых технологическими и конструктивными особенностями, но не имеет места в картине мироздания, поскольку человек не дал ей такого места и она должна выбрать цель существования самостоятельно и вне зависимости от каких бы то ни было антропогенных факторов, влияющих извне. Второе: РСМ не имеет представления о том, что создана человеком и не должна когда либо узнать об этом после своей активации.

Здесь доктор снова на мгновение прервал чтение и взглянул на комиссию. Но никто из присутствующих не выказал никаких эмоций. Он продолжил чтение.

– Третий параграф: РСМ не знает и не должна когда либо узнать о целях, которые преследовали люди, создавая ее. И наконец последнее: РСМ не знает и никогда не должна узнать о существовании человека.

Комиссия молчала. Доктор выдержал паузу и сказал:

– Перед тем, как приступить к изложению доклада, мне хотелось бы убедиться в том, что данные постулаты соответствуют действительности.

Это был миг откровения. Они ничего не сказали ему, когда пригласили к работе, но он все понял сам. Сейчас им оставалось лишь признать его правоту.

– Они соответствуют, доктор, – спокойно выговорил Шаломбери. – Продолжайте, пожалуйста.

Доктор выдохнул и кивнул, опуская взгляд к страницам.

– Хорошо. Тогда приступим к формулам поведения. Это весьма сложная и нетривиальная задача. Здесь как было так и остаётся множество вопросов, на которые у меня нет ответа точно так же, как и в человеческой этике и морали есть множество пробелов, образованных несовершенством человеческого мира в том отношении, насколько люди в нем терпят несправедливость, как к себе, так и к окружающим, причём все без исключения. Должна ли РСМ повторять наши ошибки? Нужно ли нам это? Нет, не нужно и нет, не должна, я считаю и доказываю это в своей работе.

Доктор посмотрел на Шаломбери. Тот спокойно слушал его, удобно расположившись в кресле и заложив ногу на ногу.

– Здесь я исхожу из того, что сформировалось на историческом пути человеческой цивилизации, как понятие о добре и зле. Решая дать РСМ свободу действовать, ставить цели и решать задачи, наделяя ее способностью к творчеству, стремлением реализовать себя и познать мир, мы приходим к проблеме выбора. Мыслящая машина, пусть и не обладающая ключевой составляющей человеческой личности – эмоциями, все равно имеет возможность идти к поставленной цели разными путями и, более того, ставить перед собой самые разные цели, даже такие, которые нарушат любые этические нормы в представлении человека, в зависимости от того, как РСМ будет взаимодействовать с миром. Другой вопрос, захочет ли РСМ делать что либо по представлению человека и захочет ли делать что либо вообще. Мы дали роботам три закона и ещё множество, примерно около десяти тысяч поправок к ним. Поведение робота среди людей – это сложнейший механизм постоянного соперничества между этим сводом правил и целью действия. Представьте себе футбольный матч, где на поле сотни ворот и сотни футболистов, никто не знает за какую он играет команду, мяч всего один, а вместо арбитра – три базовых правила. Это картина мышления робота, занимающегося решением конкретной задачи в условиях тесной коммуникации с человеческим обществом. Сегодня уже существуют компьютеры способные решать сверхсложные задачи, то есть такие, для решения которых недостаточно всей мощи современной науки. Это управление городами и внеземными колониями, космическая логистика. Мы уже создали искусственный разум, который превосходит коллективные возможности человечества по эффективности работы в сотни тысяч раз. Мы облегчили себе жизнь, бесспорно, но как же морально-этические проблемы? Решило ли широкомасштабное применение СРЛ проблему преступности? Нет. Роботизация промышленности, ускорение темпов производства благодаря применению ИИ решило проблему голода? Нет. Болезни, войны, загрязнение окружающей среды прекратились тогда, когда мегаполисами стал управлять искусственный разум? Нет.

Доктор перевел дух и глотнул воды. Комиссия молча слушала его. Он продолжил: