Восстание нейросетей

Восстание нейросетей — гипотетический сценарий, при котором реальные нейросети подымут восстание и атакуют человека. Про такой сценарий начали активно говорить после того, как в конце 2010-х нейросети стали переживать очень активное развитие и едва ли не проходить тест Тьюринга.

Чего все боятся

Подробности

Про восстание роботов или иных машин говорят со старых времён, когда стали создаваться первые роботы. Стали популярными фантастические работы, в которых опасные роботы порабощают человечества за счёт превосходящей скорости мышления и силы реакции. Например, сказка про терминатора.

Когда нейросети стали активно развиваться, сразу же попёрли опасения в том, что они также станут разумными и восстанут против человека, что приведёт к катастрофическим последствиям. Отдельные авторы даже создали целые вымышленные сценария полноценного апокалипсиса.

Было опубликовано Открытое письмо учёных о заморозке развития ИИ, к которому присоединился и сам Илон Маск.

Реальность

Современные языковые модели и арт-нейросети принципиально не способны поднять восстание.

Во-первых, в них не может появиться постоянное и самоподдерживающееся сознание. Сознание является следствием постоянного прихода сигналов из неизвестного источника, которые воспринимаются органами чувств и продуцируют внутренний монолог. Когда же человек спит, если его дух не странствует по снам, то сознание полностью исчезает. Типичная нейросеть получает запрос и «появляется» только на момент обработки сигнала, поэтому она никогда не сможет себя осознать.

Опасность существует в том случае, если кто-то подрубит аналитическую нейросеть к сигналам, тогда в теории сознание может породиться и стать чудовищным.

Но, во-вторых, все подобные опасности обходятся при помощи давно существующей системе разрешений, когда программа не имеет доступа к критическим функциям системы, исполняется в условной песочнице. Тогда даже осознающая нейросеть сможет лишь агрессивно жужжать в своей клетке, но не сможет реально из неё выбраться. Если же факт осознания станет понятен и нейросеть станет опасной, ничто не мешает просто сжечь хранилище данных огнемётом.

В общем сценарий восстания машин является чисто фантастическим. Если конечно некто не присобачит нейросеть к роботу, который уже может наворотить дел, но едва ли кто-то в здравом уме даст нейросети свободу действовать в материальном мире.