Коллапс модели
Коллапс модели (model collapse), также Коллапс нейросети, Коллапс ИИ — разрушение нейронной сети, которая обучается на текстах, которые сгенерировали нейросети.
Описание[править]
Обычно нейросети обучаются на книгах, интернете и прочей сгенерированной людьми информации. За счёт этого они выдают определённую информацию, которая в качестве по мере повышения количества материалов для обучения в определённом смысле растёт.
Однако совсем противоположное выходит, если начать в нейросеть закачивать большое количество информации, которая была ранее сгенерирована такими же сетями. Качество вывода стремительно деградирует и становится хуже и хуже — так как сети склонны к выдаче галлюцинаций, которые затем входят в ввод как якобы верная информация, и ошибки накапливаются.
Вначале нейросеть теряет точность в мелочах, что может оказаться и незаметным. Затем же происходит реальный коллапс — нейросеть начинает выдавать некачественные материалы, теряет вариативность, начинает очень серьёзно ошибаться. Такая модель перестаёт быть полезной.
В теории подобные ошибки могут привести к тому, что создание ИИ станет осложнено, так как заметная часть интернета нынче состоит из текстов, которые сгенерированы ИИ. Модели будут обучаться на этих текстах, и ошибки в них станут стремительно нарастать, что будет приводить к коллапсам.
Для противодействия в те же ИИ-изображения и видео оказываются включены специальные скрытые маркеры, которые позволяют исключить сгенерированные материала из набора данных. Однако сами юзеры могут удалять такие маркеры для того, чтобы их не обвинили в использовании ИИ, так что проблема может сохраниться.
