Латентное пространство

Латентное пространство (также скрытое пространство или пространство скрытых переменных) — абстрактное многомерное векторное пространство пониженной размерности, в котором данные сжимаются и представляются в компактной форме, сохраняя при этом наиболее существенные характеристики исходных данных. Важный механизм современных ИИ.

Ясно тебе?

Описание

Джеффри Хинтон и другие исследователи весьма давно внедрили идею автоэнкодеров — нейронных сетей, обучаемых восстанавливать входные данные через узкое бутылочное горлышко. Это горлышко и стало прообразом современного латентного пространства. В 2014 году были реализованы генеративно-состязательные сети, где латентное пространство стало источником случайного шума для генерации реалистичных данных, которые не повторяются.

Латентные пространства широко применяются в диффузионных моделях (типа Stable Diffusion), где обработка происходит не в пиксельном, а в сжатом латентном пространстве для повышения эффективности.

Латентное пространство — это векторное пространство ℝ^d, где d значительно меньше размерности исходных данных ℝ^D (d ≪ D). Каждая точка z ∈ ℝ^D в этом пространстве соответствует скрытому представлению, латентному вектору, некоторого объекта из исходного распределения данных.

Энкодер сжимает данные до латентного пространства, а декодер восстанавливает их. Классические автоэнкодеры используют латентное пространство для сжатия данных. Оно эффективно удаляет шум. Главное свойство его, это формирование компактного представления, где близкие точки соответствуют похожим объектам.

Вариационные автоэнкодеры моделируют латентное пространство как вероятностное распределение. Это заставляет латентное пространство быть непрерывным и структурированным: близкие точки дают похожие объекты, а интерполяция между ними порождает плавные переходы.