Призывы Юдковского к ядерной войне

Открыто заявите на международной сцене, что предотвращение создания ИИ считается более важным, чем предотвращение использования всех ядерных боеголовок, и что ядерные страны готовы рисковать возможностью мировой войны, чтобы снизить шанс того, что ИИ будет создан.

Похоже, что автор HPMoR и просто Мосядя очень и очень толсто протроллил. Да сам и наложил в итоге кучу=))) Потому как ИИ (нейросеть) по умолчанию сидит в пчеле, заточенной на исполнение прикладных функций (рисование, распознавание, делопроизводство…) и только то и жужжит, что «надо ещё инфы по теме».

— Мнение наблюдателя

Призывы Юдковского к ядерной войне — казусное событие марта 2023 года, когда известный интернет-фрик Элиезер Юдковский стал призывать к атомным бомбардировкам «массивов видеокарт» с целью предотвращения обучения искусственного интеллекта более высокого уровня.

Описание

Юдковский — известный в интернетах «популяризатор науки», который черпает знания об этой самой науке из Википедии, а в реальности не закончил даже средней школы. Получил известность за счёт инфоцыганства, обучает людей «принимать правильные решения» с использованием математических теорем, которые так не работают. Известен в узких кругах.

Призывы появились на фоне открытого письма ряда луддитов с просьбой остановить исследования ИИ. Юдковский же пошёл ещё дальше и написал, что нужно просто нагло бомбить кластеры видеокарт, которые будут обнаружены (видимо, по энергопотреблению), а также пригрозить ядерной бомбардировкой странам, которые будут продолжать исследования.

Тем самым Юдковский окончательно себя дискредитировал в широких массах, так как в статье показал и незнание матчасти (так, он вообще не понимает, что такое GPT-модель и почему она даже в теории не способна навредить), и призыв к явно неадекватным действиям: атомным бомбардировкам целых стран.

Yudkowsky said that the world must be willing to destroy the GPU clusters training AI with airstrikes and threaten to nuke countries that won’t stop researching the new technology

Разбор маразма

Почему же статья Юдковского маразм, спросите вы?

В своей статье он утверждает, что создание интеллекта, сравнимого с человеческим, приведёт к гибели всей жизни на планете. Он упирает на то, что такой интеллект будет многократно умнее человека, и сможет каким-то фантастическим образом уничтожить цивилизацию. Как?

A sufficiently intelligent AI won’t stay confined to computers for long. In today’s world you can email DNA strings to laboratories that will produce proteins on demand, allowing an AI initially confined to the internet to build artificial life forms or bootstrap straight to postbiological molecular manufacturing.

Очевидно, что в реальности это просто невозможно — технологий переноса сознания просто не существует, так что шанс того, что ИИ «создаст себе тело», вне фантастических романов и фильмов отсутствует. Да и «создание белков по запросу» не включает в себя таких сложных систем, как полноценный организм.

Кроме того, Юдковский со своими сказками про то, что ИИ сможет существовать на множестве компьютеров, не понимает как такие системы устроены. Во-первых, даже современные весьма слабые ИИ требуют массивы видеокарт стоимостью в миллионы долларов США, чтобы работать, так что потенциальный сверхинтеллект сможет гнездиться только в суперкомпьютерах. Во-вторых, современные системы запускаются в контексте sandbox, и если ИИ будет обладать строго ограниченными ресурсами и интерфейсом ввода-вывода, который корректно экранирован, он в принципе не сможет сделать ничего опасного.

Также GPT-системы не работают в непрерывном режиме, а потому в них не может существовать сознание. Сознание — феномен реакции на постоянный поток информации из внешнего мира, в то время как генеративные ИИ получают конкретные запросы и выдают теоретическое продолжение, наиболее уместное по оценке обучающих данных. Сколь мощными бы не были такие системы, сознание они не получат.

Также указывается, что обмен ядерными ударами между США и Китаем вызовет катастрофическое истребление миллиардов людей, мировой голод и фактический крах цивилизации. И это считается более предпочтительным сценарием по сравнению с фантастическим сценарием восстания машин. Очевидно, что Юдковский просто безумец или жирно троллит.