VAE

VAE (Вариационный автоэнкодер) — разновидность нейросетей, которая была создана в качестве помощника при машинном обучении; впоследствии стала использоваться для постобработки изображений.

Подробности

ВАЭ применяются для доработки изображений по определённой модели. Например, для того, чтобы добавить к фотографии человека необходимую причёску или бороду. Это достигается посредством свёртки данных и последующей развёртки с использованием определённых весов, настроенных для необходимого эффекта. За счёт этого при восстановлении изображения значимые детали сохраняются, а второстепенные незначимые изменяются.

Изначально они использовались для улучшения качества изображения и очистки его от шумов.

В современности в основном применяется в качестве слоя после стандартной генеративной сети для доработки изображения. Современные модели позволяют соединять генеративные сети вместе с вариационным автоэнкодером для получения наиболее качественных изображений.

После распространения формата safetensors для Stable Diffusion стали популярными модели со встроенными VAE, наиболее подходящими для конкретной модели (таковые называются обычно «baked VAE»), что позволяет скачать модель и её сразу же использовать. Так, в современных моделях от VAE может зависеть выбор цветов в генерируемых моделями изображениях.