YaLM
YaLM (более всего известны YaLM 100B и Балабоба) — нейросеть от Яндекса, которая может генерировать тексты на русском языке. В отличие от множества зарубежных решений, эта сеть была выложена в открытый доступ и потенциально может быть установлена любым человеком с достаточно мощной системой (впрочем, требуется система сильно мощнее, чем обычный игровой компьютер даже для расширений типа 4K).
Подробности[править]
Основным проектом Яндекса является нейросеть YaLM 100B, основанная на 100 миллиардах параметров. Тренировка модели заняла два месяца на около тысяче профессиональных видеокарт, и использовала базу данных из 2 терабайт текстов, взятых из Интернета, книг и прочих источников.
Теоретически установить модель может любой желающий, но на практике понадобится мощная система с 250 Гб видеопамяти, что требует специализированного кластера из видеокарт. Поэтому на практике модель может использоваться только особо состоятельными людьми или же, чаще, компаниями.
Для тренировки использовались страницы из поиска Яндекса, книги, новости, диалоги из социальных медиа и страницы из Википедии.[1]
Балабоба[править]
Более простая нейросеть, которая работает на базе интернет-сайта и позволяет сгенерировать короткий текст. Является более простой версией нейросети, в которой используется только 3 миллиарда параметров вместо сотни, но выдаёт сравнительно вменяемые результаты.
К сожалению, в сети есть цензура: запрещены упоминания некоторых политиков и религиозных деятелей.
Есть библиотека для Python, позволяющая генерировать тексты через эту нейросеть посредством скриптов.[2]
