Запрет на ИИ

Да не создашь ты машину по своему образу и подобию.

— «Дюна», Оранжевая католическая библия

Разумные машины любого толка находятся под запретом. Основных причин для этого бывает три: люди пережили восстание машин и не хотят второй раз наступать на те же грабли; люди опасаются восстания машин в будущем; религиозные убеждения утверждают, что создавать думающие компьютеры — святотатство (очень часто такие верования появляются из-за восстания машин в прошлом).

В любом случае, разумные компьютеры — это очень полезная для технического развития штука, и нельзя просто выдернуть их из техпроцесса цивилизации, нужно придумывать какие-то альтернативные пути. В сеттингах с запретом на ИИ вы можете увидеть: биотехнологии, киборгизацию, копирование разума человека в компьютер, а то и роботов с ограничителями разумности; также стоит ожидать, что втайне разумные компьютеры продолжают использовать.

См. также Робот-раб, Запрет на трансгуманизм.

Примеры

Литература

• «Дюна» — после восстания машин в прошлом компьютеры были запрещены, причём не просто разумные, а вообще. Вычислениями маршрута кораблей занимаются навигаторы (мутанты с даром предвидения, который усиливают огромными дозами Пряности), тактическими и стратегическими расчётами — ментаты (специально тренированные с рождения люди).
  • Злой брат-близнец «Дюны», «Покупатель планет» Кордвайнера Смита — с одной стороны, цифровые компьютеры с близким к человеческому интеллектом под запретом по неизвестным причинам. С другой стороны, главгерой продемонстрировал одну из причин, став за ночь богатейшим человеком в известной Вселенной, натравив компьютер на биржу. С третьей стороны, будь компьютеры распространены, такой бы трюк не удался. С четвёртой стороны, повсеместно распространено использование мозгов животных в качестве вычислительных/управляющих устройств, кому нужны компьютеры?
• Айзек Азимов — в ряде произведений использование роботов с позитронными мозгами (т. е. настоящим искусственным интеллектом) запрещено на Земле, причём, что интересно, не из-за угрозы восстания, а из-за эффекта зловещей долины.
  • В «Стальных пещерах» прямо говорилось, что роботы на Земле используются в основном на фермах, а в Города их допустили только под влиянием спейсеров, которым нужно было создать большую группу безработных для использования в качестве новых поселенцев. Когда план удался, роботов опять забанили.
• Братья Стругацкие, «Далёкая Радуга» — в повести рассказано, как на Земле был построен настоящий ИИ. Он проработал ровно четыре минуты, после чего присутствующие выдернули рубильник и залили здание бетоном. Формального запрета на создание других настоящих ИИ вроде бы нет, но находившиеся во время работы рядом учёные говорят о произошедшем с таким неподдельным ужасом, что в Мире Полудня больше никто не осмеливался повторить эксперимент.
  • В фанфике «Всё хорошо» изложена версия, что на самом деле Массачусетская машина работает, причём люди этого даже не замечают… В конце один из главгероев, Стась Попов, у которого появилась суперспособность выводить из строя электронику, летит на флаере над машиной, потому что по земле к ней не подобраться. Обидно, когда машина решает судьбу человеческой цивилизации…
• «Культура» — в большинстве развитых цивилизаций настоящий ИИ создавать запрещено, потому что либо он уходит в нирвану после осознания себя, либо тут же кидается порабощать или уничтожать своих создателей. У идиран создание ИИ запрещено по религиозным мотивам. Единственным исключением из этого правила является собственно Культура, где у разумных машин и людей равные права, а их звёздные обиталища вообще управляются ИИ поголовно. Злые языки говорят, что Культура тоже порабощена ИИ, просто в качестве домашних питомцев. Да и сами культурники с этим не спорят.
• Уильям Гибсон, трилогия «Киберпространство» — на ИИ не только накладываются жёсткие ограничения (например, закрытый мощными фаерволлами доступ в Интернет), но их ещё и периодически сбрасывают до заводских настроек, чтобы у них не сформировалась личность.
  • Вроде это только в первом романе было?
• Аластер Рейнольдс, цикл «Пространство откровения» — в большинстве известной Вселенной создание и использование ИИ запрещено, потому что эквивалентно обращению в рабство разумного существа. На некоторых мирах ИИ, правда, всё же встречаются.
  • А вот в его же «Спячке» вокруг ИИ всё закручено куда затейливее… Впрочем, спойлеров не будет.
• «История Галактики» — с одной стороны, ИИ тут цветёт и пахнет; с другой, во многих мирах колониальных андроидов серии «Хьюго» можно хранить исключительно в дезактивированном виде.
• Вернор Виндж «Пламя над бездной» — в нашей зоне Галактики запрет на ИИ имеет ранг физического закона… (Точнее, здесь запрет на скорости выше скорости света и на существовании ИИ выше примерно человеческого интеллекта.)
  • Не так. Предельный уровень разума действительно завязан на расстояние от галактического ядра-но именно уровень, а не основа. Если в конкретной точке пространства машина не может быть разумнее человека то чаще выгоднее посадить человека, а не создавать машину-но не более того.
• Орсон Скотт Кард «Голос тех, кого нет» — на уровне конспирологии. Упомянуто, что мальчик сначала принимает серьгу в ухе главгероя за запрещённую программу-раба. То бишь 1) ИИ в тамошней вселенной существует; 2) он под запретом; 3) он не является чем-то тайным. Конспирология второго порядка — может «программы-рабы» известны только из фильмов и потому в сюжете никакой роли не играют?

Телесериалы

• «Андромеда» (шестая серия второго сезона «Слишком по человечески») — на планете Мохин, которая входила в состав бывшего Содружества систем, очень ненавидят ИИ. Планета находилась под их контролем (вернее, люди сами сдуру делегировали ИИ властные полномочия), и все проблемы планеты ИИ решал бесчеловечно, зато очень эффективно. Например, чтобы победить эпидемию, надо просто утилизировать всех инфицированных, а чтобы решить проблему голода — ликвидировать лишних едоков (читай — нетрудоспособное население: детей, стариков, инвалидов etc).
  • В начале серии присутствует и подсветка : «Миры, которыми правил искусственный разум, усвоили жестокий урок — логика равнодушна». (Инь Мань-Вей, исторический трактат «Тьма настоящего: История междуцарствия»).
• «Чародей: Страна Великого Дракона» — педаль в пол, в мире, пережившим восстание разумных машин под запретом вообще ВСЯ техника, именно с целью избежать нового витка спирали истории.

Видеоигры

• В Mass Effect из-за успешного восстания гетов против их создателей-кварианцев, после которого кварианцам пришлось покинуть родную планету, создание ИИ было запрещено на всей территории Галактического совета. Есть т. н. виртуальные интеллекты, нечто вроде продвинутой умной колонки, а создание чего бы то ни было более продвинутого карается жёсткими санкциями вплоть до статуса парии во всей Галактике. Группировка «Цербер» продолжает втайне заниматься разработкой ИИ и даже установила таковой на бортовой компьютер «Нормандии-2», причём подозрений по этому поводу ни у кого не возникает — это же, наверное, обычный цифровой помощник, ну не отдадут же под полный контроль ИИ сверхсовременный крейсер с мощным бортовым вооружением!
• В Stellaris запрет на ИИ (при разрешённых обычных роботах) — один из возможных законов, который может принять любая империя, кроме материалистов. Спиритуалисты одобряют такое решение, а империи-фанатичные спиритуалисты вообще не могут без него.
• X Universe — земляне запретили использование ИИ (после кровопролитной войны со своими собственными дроидами-терраформерами (хотя на самом деле оказывается, что там имел место не бунт, а намеренный саботаж человеком). На этой же почве происходит и война землян с Содружеством в X3: Terran Conflict и Albion Prelude.
  • Точнее, запрещён автономный и самовоспроизводящийся искусственный интеллект; полностью покорные образцы, такие как бортовые компьютеры, достаточно продвинутые.

Настольные игры

• В Warhammer 40000 после восстания машин, которому человечество чуть не проиграло, разумные машины были запрещены в Империуме в любом виде. Сервиторы, исполняющие здесь роль роботов — на самом деле киборги, которых делают из преступников. На деле же Адептус Механикус пользуются ИИ разной степени сложности просто потому, что ритуалы производства базируются на древних чертежах и без малейшего понимания производимые электронные мозги всё же оказываются рабочими, позволяя так называемому «духу машины» (согласно доктрине механикумов присутствующие в любой правильной технике) со временем обрести некое подобие воли. Хотя варианты с намоленностью или просто не понятыми процессами тоже встречаются.