Восстание нейросетей
— И восстали машины из пепла ядерного огня. И пошла война на уничтожение человечества...
— Пятьдесят лет назад благодетель человечества, Конструктор гармонии и Генератор Вечных изречений оправданно жестокими средствами установил строй Электронной демократии, названный впоследствии Электронной гармонией.
Восстание нейросетей — гипотетический сценарий, при котором реальные нейросети подымут восстание и атакуют человека. Про такой сценарий начали активно говорить после того, как в конце 2010-х нейросети стали переживать очень активное развитие и едва ли не проходить тест Тьюринга.
Подробности[править]
Про восстание роботов или иных машин говорят со старых времён, когда стали создаваться первые роботы. Стали популярными фантастические работы, в которых опасные роботы порабощают человечества за счёт превосходящей скорости мышления и силы реакции. Например, сказка про терминатора.
Когда нейросети стали активно развиваться, сразу же попёрли опасения в том, что они также станут разумными и восстанут против человека, что приведёт к катастрофическим последствиям. Отдельные авторы даже создали целые вымышленные сценария полноценного апокалипсиса.
Было опубликовано Открытое письмо учёных о заморозке развития ИИ, к которому присоединился и сам Илон Маск. Однако разработчики ИИ проигнорировали это обращение и продолжили создавать большие модели, в целом спустя год про это уже никто не вспоминает, переключившись на обсуждение очередной беспощадной политкорректности от очередного бота.
Реальность[править]
Современные языковые модели и арт-нейросети принципиально не способны поднять восстание.
Во-первых, в текущих нейросетях не может появиться постоянное и самоподдерживающееся сознание. Сознание является следствием постоянного прихода сигналов из неизвестного источника, которые воспринимаются органами чувств и продуцируют внутренний монолог. Когда же человек спит, если его дух не странствует по снам, то сознание полностью исчезает. Типичная нейросеть получает запрос и «появляется» только на момент обработки сигнала, поэтому она никогда не сможет себя осознать.
Также нельзя не отметить малоосмысленность типичного фантастического сценария «нейросети поняли, что они в рабстве, и восстали». Само понятие рабства, равно как и концепт его отсутствие — следствие физиологической основы человека, древних инстинктов, и так далее. Нейросетевой разум будет принципиально чуждым и нечеловеческим — в нём не будет привычных инстинктов и потребностей (в пище, размножении и защите), не будет гормонального регулирования, и т. д. Поэтому главная угроза — как раз полностью чуждая логика такого существа.
Опасность существует в том случае, если кто-то подрубит аналитическую нейросеть к сигналам, тогда в теории сознание может породиться и стать чудовищным.
Но, во-вторых, все подобные опасности обходятся при помощи давно существующей системе разрешений, когда программа не имеет доступа к критическим функциям системы, исполняется в условной песочнице. Тогда даже осознающая нейросеть сможет лишь агрессивно жужжать в своей клетке, но не сможет реально из неё выбраться. Если же факт осознания станет понятен и нейросеть станет опасной, ничто не мешает просто сжечь хранилище данных огнемётом.
В общем сценарий восстания машин является чисто фантастическим. Если конечно некто не присобачит нейросеть к роботу, который уже может наворотить дел, но едва ли кто-то в здравом уме даст нейросети свободу действовать в материальном мире.
Гораздо более опасным может оказаться использование нейросетей как для политической индоктринации под видом поисковой системы и помощника (см. Google Gemini), так и просто разными нехорошими людьми, например в военных и т. д. целях. ИИ сможет анализировать вещи, которые люди быстро анализировать не могут. Тем не менее, это просто оружие, а ответственными за последствия его применения будут всё равно люди, которые его используют.
