LoRA
LoRA (Low-Rank Adaptation) — небольшие второстепенные модели, применяемые в Stable Diffusion для уточнения генерируемых изображений.
Подробности[править]
Функционал LoRA присутствует в Stable Diffusion по умолчанию.
Это небольшие модели, обычно размером всего в несколько десятков мегабайт, которые используются для внесения небольших изменений к определённой модели. Популярны LoRA с определёнными персонажами, позволяющие этих самых персонажей нарисовать очень корректно (тогда как базовая модель будет допускать ошибки), причём в стиле определённой модели. Скажем, реальные знаменитости могут быть сконвертированы в формат аниме, и так далее.
Если стандартная перетренировка большой модели требует времени и производит файл в несколько гигабайт, LoRA создается гораздо быстрее и занимает меньше места, что экономит место на дисках (которое бы иначе очень быстро забивалось). Используется только вместе с основной моделью.
Применяет небольшие изменения к отдельным слоям нейросети, где производится сопоставление запроса и изображения, добавляя более точные показатели веса/weight к отдельным матрицам, отвечающим за некоторые элементы.
Много моделей LoRA можно найти на сайте Civitai.
Использования[править]
Скачанные модели помещаются в папку stable-diffusion-webui/models/Lora, затем в конец запроса добавляется приказная команда: <lora:filename:multiplier>. Выбрать LoRA можно и через интерфейс, тогда корректное название вставится само, множитель определяет, насколько важной будет модель и изменяется от -1.0 до 1.0, причем при негативных значениях LoRA будет действовать в обратную сторону (например, LoRA на кожаные перчатки будет тщательно их пытаться убрать)
