Фрайдэй

— О, со временем я смог бы их создать. Когда бы я сделал одного, если бы мне разрешили клонирование, вы, пилоты, смогли бы отправляться на все четыре стороны. Но это был бы не ИЧ; это должен быть живой артефакт. Если я попытаюсь произвести организм, который действительно будет надежным пилотом, я не смогу это сделать с условием сохранения нормального человеческого облика.

— Не надо, пожалуйста!

Оба мужчины выглядели удивленными, Дженет насторожилась — и я пожалела, что не сдержалась.

— Почему нет? — спросил Жорж.

— Э… потому что я не сяду в такой корабль. Мне безопаснее будет с Иеном.

Иен сказал:

— Спасибо, Мардж — но ты слышала, что сказал Жорж. Он говорит о существе, специально созданном для пилотирования, которое сможет делать это лучше, чем я. Это возможно. Так уже бывало, черт возьми! Так же, как гномы заменили шахтеров, заменят и моих коллег. Мне может это не нравиться, но я вижу, что так скоро случится.

— Хорошо… Жорж, ты работал с разумными компьютерами?

— Конечно, Марджори. Искусственный интеллект — это область, близкая к моей профессии.

— Да. Тогда ты знаешь, что специалисты по ИИ несколько раз объявляли, что они готовы создать компьютер, обладающий сознанием. Но у них ничего не получалось.

— Да. Это печально.

— Нет — это неизбежно. У них это никогда не получится. Компьютер может обладать сознанием — безусловно! Сделайте его таким же сложным, как человеческий мозг, и он обязательно осознает себя. Потом он обнаружит, что он не человек. Потом он сообразит, что никогда не сможет стать человеком; все, что он сможет делать — это сидеть на месте и выполнять приказы людей. Потом он сойдет с ума.

Я пожала плечами. — Это неразрешимая дилемма. Если он не человек, он никогда не сможет им стать. Иен, может быть, не сможет спасти пассажиров, но он попытается. Но живой артефакт, не будучи человеком и не имея уважения к людям, может разбить корабль просто потому, что ему все равно. Потому что ему надоело то, как с ним обращаются. Нет, Жорж, я буду лететь с Иеном. А не с твоим артефактом, который постепенно начнет ненавидеть людей.

— Не с моим артефактом, дорогая, — мягко сказал Жорж. — Ты обратила внимание, какое наклонение я использовал, говоря об этом проекте?

— Видимо, нет.

— Условное. Потому что ничто из того, что ты сказала, не является для меня новостью. Я не пытался выполнить эту работу и не собираюсь. Я могу создать такого пилота. Но я не смогу встроить в этот артефакт нравственные принципы, которые составляют основу подготовки Иена.

Иен, похоже, задумался. — Может быть, во время переговоров мне нужно будет выдвинуть требование, что любой пилот ЖА или ИЧ должен пройти проверку нравственных принципов.

— Как это проверить, Иен? Я не знаю, как внедрить нравственные принципы в зародыш, а Мардж показала, почему не будет пользы от подготовки. Все равно, какой тест может это проявить?

Жорж повернулся ко мне.

— Когда я был студентом, я читал кое-какие классические рассказы о человекоподобных роботах. Эти рассказы были очаровательны, и многие из них строились на так называемых законах роботехники, ключевой идеей которых было то, что в этих роботов встраивалось рабочее правило, которое не позволяло им вредить людям непосредственно либо путем бездействия. Это было замечательной основой для выдумки… но, на практике, как можно это сделать? Что может заставить сознательный нечеловеческий разумный организм — электронный или органический — быть преданным человеку? Я не знаю, как это сделать. Специалисты по искусственному интеллекту, похоже, тоже не могут это выяснить.

Жорж цинично усмехнулся. — Практически можно определить разум как уровень, на котором сознательный организм задает вопрос: «А какая мне в этом выгода?» — Он продолжал. — Мардж, насчет покупки у тебя одной чудесной свежей яйцеклетки, наверное, я должен попытаться объяснить тебе, какая в этом выгода для тебя.

— Не слушай его, — потребовала Дженет. — Он положит тебя на холодный стол и уставится в лоно любви без малейших романтических намерений. Я знаю, он меня три раза убалтывал. И даже не заплатил.

— Как я могу заплатить тебе, если мы вместе владеем собственностью? Марджори, милая, стол не холодный, и даже мягкий, и ты сможешь читать, или смотреть терминал, или болтать. Что угодно. Мы продвинулись далеко вперед по сравнению с процедурой, которую проводили еще поколение назад, когда вскрывалась брюшная полость и часто разрушались яичники. Если ты…