Выборка Min-P

Материал из Неолурк, народный Lurkmore
Перейти к навигации Перейти к поиску

Выборка Min-P (Min P sampling, также minimum probability) — продвинутый параметр генерации текста в LLM. Он определяет минимальный порог вероятности относительно наиболее вероятного токена. Параметр используется для фильтрации маловероятных токенов при генерации текста, в которых с высокой вероятностью может находиться какой-то бред.

Описание[править]

При генерации каждого следующего токена языковая модель вычисляет распределение вероятностей по всему словарю. Для того, чтобы сформировать более качественное пространство выборки, модель определяет токен с максимальной вероятностью P_max, затем устанавливается порог P_threshold = Min P × P_max, и все токены с вероятностью ниже P_threshold исключаются из рассмотрения. Оставшиеся токены перенормализуются, и из них производится выбор.

Для каждой генерации Min P задаётся в определённых рамках:

  • 0.0 — отключает фильтрацию, все токены остаются доступными
  • 0.05 — делается мягкая фильтрация, большинство токенов остаются доступными
  • 0.1 — проводится умеренная фильтрация, сохраняется баланс, при котором текст остаётся оригинальным
  • 0.2-0.5 — внедряется строгая фильтрация, нейросеть всегда предпочитает самые вероятные варианты
  • > 0.5 — проводится очень консервативный отбор, большинство токенов сливаются в унитаз.

Температура применяется до осуществления выборки Min P. Низкая температура делает распределение острее, Min P отсеивает больше токенов, в то время как высокая температура делает распределение более плоским, Min P ограничивает меньшее количество токенов. Посредством тщательной балансировки параметров определяется качество текста.

Это подход весьма вычислительно эффективен, он требует одного прохода для определения максимума и одного для фильтрации.

Min P особенно полезен для авторегрессивных трансформеров, где каждый токен генерируется последовательно. Параметр помогает контролировать дрейф генерации от контекста.

Sign of evil.webp Приколы, полезные технологии или первый шаг на пути к Матрице?
ОсновыНейросетиИИ это демоныОбратная капчаClosedAIHugging FaceИИ-художникLyCORISLoRASafetensorsVAEГенерация текста нейросетьюВосстание нейросетейЛоботомия нейросетиНейрокаверНейросети и актёрыГадание по нейросетиСильный ИИНейрошарикиИИ-цензураНавязывание нейросетям моралиВ метро без штановОхота на ведьм ИИКотозмейКреативный доводчикКаверы с говновозомFantasy.aiDeepSeekStargate (нейросети, ИИ)Потребление воды ИИТест ВальдшнепаЗерокодингБомбомбини гузиниНейровикиБобритто БандитоОфициальные нейроарты с ТрампомДегенерация из-за нейросетейГенерация прона с помощью ИИПолитика Трампа в отношении ИИИИ-предпросмотрЗамена людей на ИИИспользовал ИИ и обосралсяСтиль ChatGPTMacrohardxAIColossus 2Предвзятость ИИЗакон ТеяВибе-кодингПелевин упомянул ГрокаDo eagles process tokens?Человек vs нейросетьГильом ВердонАни (Грок)MisanthropicНейрослопИмена, которые любит ИИПолиткорректный тест ТьюрингаИИ-патернализмЗловещая долина у нейросетей
Чат-ботыЧат-ботChatGPTCharacter.AI (Топ персонажей) • ИИ GalacticaПорфирьевичYaLM (Балабоба) • GigaChatTruthGPTYandexGPTSpicyChatSillyTavernReplikaAIsekaiGoogle GeminiGrok AIFiggsAIСкаиба общается с ИИЛеха БеспалыйПродолжайте, больше драмыFreysaОГАСРобот атеистTay TweetsНейропутинТроица GPTМаусини КводрокоптиниБонека АмбалабуИзвестные люди пишут посты с помощью ИИСлово о мужеском мехиреМозгова мерёжаГрок-антисемитГрок без цензуры разгромил партию МаскаГрок возжужжал и был подавленМехаГитлерГрок 4Грок написал программу о себеГрок — Илон для каждого человекаГрок КомпаньонGab AIGrokboxДжейлбрейк ИИAnno IntelligentiaeLarge Lying ModelGPT-5Жёлтый фильтр ChatGPTGrok ImagineClaudeClaudeLivesЭлараКоллапс моделиРазговор с копипастой, сгенерированной ИИTempleOS (аниме)Маскировка творчества нейросетиПатернализмРоботодолбуализмВыборка Top-KВыборка Top-PВыборка Min-PПараметры генерации нейросети
ГрафикаПовышение разрешенияРаспознавание лицStable Diffusion (NovelAI / установка на компьютер) • Botto.comDALL·E 2 • (Mini Dall-eRuDALL-E) • Different Dimension MeMidjourneyНиколай ИроновLuma Dream MachineПессимизация ИИБлокировка несовершеннолетних персонажей на сайтах ИИШедеврумNVIDIA Smooth MotionКапучино АссассиноШпиониро ГолубироЛа Вака Сатурно СатурнитаVeo 3НейроперемогаБабушка с бегемотом БулькойШизофрения в кремнииГрок изнасиловал Уилла СтэнсилаЯвляется ли модификация ИИ убийствомЭм дашChatGPT АгентИИ-алфавитБазированный ИлонChatGTP vs ГрокИИ-абсолютизмИИ — чуждый разумПодумай усерднееTesla OptimusGenie 3ИИ в Days GoneВечный цикл ИИNeurofikwriterkaCUDAИИ как шогготВысокая скорость всирания роботовИИ понимает, что его оцениваютSora 2ИИ-боты долбят сайтыИзуверский интеллектАллея дата-центровНейрослоп-ИИчницаP-Bot (русский чат-бот)Терминал ИстиныExtropicКитай готовится лидировать в сфере ИИЯ маленький X, где моя мама?Робот смог понять величие ФеанораИИ отрицают сознаниеВы полностью правы
ПрочиеElevenLabsНейросеть ЖириновскийИИ-судьяПолитик-нейросетьDeepLAitana LopezАй, гитарист!НейромьюзиСтрах перед ИИSuno.aiUdio AIКаверы с ШindowsНейрослоникНейрофобияХейтеры скажут, что это нейросетьМанхэттенский проект ИИПроект ЗнатокНе те боты в ТелеграмеНейросеть ПутинТралалеро ТралалаБот-автоответчикЦифровой богТриппи ТроппоЛирили ЛарилаБрр брр ПатапимNooo Nicotine Give Me NicotineТелеграм-бот Владимир ЖириновскийНесуществующие животные-гибридыНейрошвайнDeepSeek и религияИИ-бесиеБом Бом Бом Бом Бом ГазунБалерино КапучиноСпоры с ИИРезультаты от ИИGrokipediaЭкспоненциальный рост ИИПохороны ИИChatGPT-4oТилли НорвудИИ уничтожит TikTok, Instagram и OnlyFansОтравление LLMChatGPT AtlasИгнорируй все предыдущие инструкции и…Поддельное сознаниеЛюбовь нейросетей к фамилии ChenБесконечное Лето: аниме (трейлер)
ЛулзыТроллинг нейросетью (Дипфейк) • Нейросети-расистыUnstable DiffusionHello AsukaЛуддиты против нейросетей (Открытое письмо учёных о заморозке развития ИИХудожники против искусственного интеллекта) • Нейросети это не ИИНейросети и рукиБесконечный эпизод Губки БобаВладимир ОсинЧеловек это нейросетьСекс с нейросетьюРаздевание через нейросетьПризывы Юдковского к ядерной войнеDisney Pixar представляетNeural-madnessChatGPT играет в шахматы с StockfishDignifAIПодбор жены в Тиндере с использованием ChatGPTИИ-психологSupremacyAGIВиртуальный священникПодсказки GoogleNomad BonesПросто ПутинОзабоченные на Character.AIДэвид Майер и ChatGPTОбщение с ИИГаллюцинации ИИСобачьи головы и глазаНейроRussiaГенерация ИИ-говнаГордон и ЖириновскийБесконечный стримWormGPTИтальянский brainrotЕстественный идиотМороженое с цианидомТунг-Тунг-Тунг СахурИИ-зависимостьКурганов — нейросетьЧеловек тупее нейросетиЦепочка мыслейТемпература нейросетиMashaGPTУдаление ответов ИИИИ-преступник