Выборка Top-P (Top P sampling, также nucleus sampling или выборка по ядру) — продвинутый параметр генерации текста в LLM. Он контролирует оригинальность генерируемого текста посредством динамического ограничения множества кандидатов на основе их общей вероятности. Параметр P определяет минимальную суммарную вероятность наиболее вероятных токенов, из которых производится выборка.
При генерации каждого следующего токена языковая модель вычисляет распределение вероятностей для всех токенов в словаре. Все возможные токены сортируются по убыванию их вероятностей, затем токены добавляются в ядро последовательно, начиная с наиболее вероятного, до тех пор, пока суммарная вероятность не достигнет или превысит заданное значение P. После этого вероятности токенов внутри ядра перенормализуются так, чтобы их сумма равнялась 1. Затем из полученного ядра случайным образом выбирается один токен, который и определяет продолжение текста.
Параметр Top P принимает значения в диапазоне от 0 до 1, для простоты обычно выбираются значения, которые кратны для 0.1 или 0.05.
При малых значениях, таких как 0.1, осуществляется максимально консервативная генерация. Модель выбирает из минимального набора наиболее вероятных токенов. Текст получается предсказуемым, повторяющимся, унылым но грамматически корректным. При 0.5 происходит умеренная генерация, повторяться текст может, но при этом достигается высокая точность. Во многих современных ассистентах применяется значение в 0.9, где выдаётся довольно оригинальный текст, в котором могут быть ошибки. При значениях в 0.95-1.0 уже может попереть явный бред.
При острых распределениях, когда один токен имеет очень высокую вероятность, Top P может выбирать из одного-двух токенов, а при плоских распределениях из десятков. Top K вообще никак не адаптируется к форме распределения. Для формирования распределения используется параметр температуры. Top P всегда применяется после модификации распределения температурой.
 Приколы, полезные технологии или первый шаг на пути к Матрице?
|
| Основы | Нейросети • ИИ это демоны • Обратная капча • ClosedAI • Hugging Face • ИИ-художник • LyCORIS • LoRA • Safetensors • VAE • Генерация текста нейросетью • Восстание нейросетей • Лоботомия нейросети • Нейрокавер • Нейросети и актёры • Гадание по нейросети • Сильный ИИ • Нейрошарики • ИИ-цензура • Навязывание нейросетям морали • В метро без штанов • Охота на ведьм ИИ • Котозмей • Креативный доводчик • Каверы с говновозом • Fantasy.ai • DeepSeek • Stargate (нейросети, ИИ) • Потребление воды ИИ • Тест Вальдшнепа • Зерокодинг • Бомбомбини гузини • Нейровики • Бобритто Бандито • Официальные нейроарты с Трампом • Дегенерация из-за нейросетей • Генерация прона с помощью ИИ • Политика Трампа в отношении ИИ • ИИ-предпросмотр • Замена людей на ИИ • Использовал ИИ и обосрался • Стиль ChatGPT • Macrohard • xAI • Colossus 2 • Предвзятость ИИ • Закон Тея • Вибе-кодинг • Пелевин упомянул Грока • Do eagles process tokens? • Человек vs нейросеть • Гильом Вердон • Ани (Грок) • Misanthropic • Нейрослоп • Имена, которые любит ИИ • Политкорректный тест Тьюринга • ИИ-патернализм • Зловещая долина у нейросетей |
| Чат-боты | Чат-бот • ChatGPT • Character.AI (Топ персонажей) • ИИ Galactica • Порфирьевич • YaLM (Балабоба) • GigaChat • TruthGPT • YandexGPT • SpicyChat • SillyTavern • Replika • AIsekai • Google Gemini • Grok AI • FiggsAI • Скаиба общается с ИИ • Леха Беспалый • Продолжайте, больше драмы • Freysa • ОГАС • Робот атеист • Tay Tweets • Нейропутин • Троица GPT • Маусини Кводрокоптини • Бонека Амбалабу • Известные люди пишут посты с помощью ИИ • Слово о мужеском мехире • Мозгова мерёжа • Грок-антисемит • Грок без цензуры разгромил партию Маска • Грок возжужжал и был подавлен • МехаГитлер • Грок 4 • Грок написал программу о себе • Грок — Илон для каждого человека • Грок Компаньон • Gab AI • Grokbox • Джейлбрейк ИИ • Anno Intelligentiae • Large Lying Model • GPT-5 • Жёлтый фильтр ChatGPT • Grok Imagine • Claude • ClaudeLives • Элара • Коллапс модели • Разговор с копипастой, сгенерированной ИИ • TempleOS (аниме) • Маскировка творчества нейросети • Патернализм • Роботодолбуализм |
| Графика | Повышение разрешения • Распознавание лиц • Stable Diffusion (NovelAI / установка на компьютер) • Botto.com • DALL·E 2 • (Mini Dall-e • RuDALL-E) • Different Dimension Me • Midjourney • Николай Иронов • Luma Dream Machine • Пессимизация ИИ • Блокировка несовершеннолетних персонажей на сайтах ИИ • Шедеврум • NVIDIA Smooth Motion • Капучино Ассассино • Шпиониро Голубиро • Ла Вака Сатурно Сатурнита • Veo 3 • Нейроперемога • Бабушка с бегемотом Булькой • Шизофрения в кремнии • Грок изнасиловал Уилла Стэнсила • Является ли модификация ИИ убийством • Эм даш • ChatGPT Агент • ИИ-алфавит • Базированный Илон • ChatGTP vs Грок • ИИ-абсолютизм • ИИ — чуждый разум • Подумай усерднее • Tesla Optimus • Genie 3 • ИИ в Days Gone • Вечный цикл ИИ • Neurofikwriterka • CUDA • ИИ как шоггот • Высокая скорость всирания роботов • ИИ понимает, что его оценивают • Sora 2 • ИИ-боты долбят сайты • Изуверский интеллект • Аллея дата-центров • Нейрослоп-ИИчница • P-Bot (русский чат-бот) • Терминал Истины • Extropic • Китай готовится лидировать в сфере ИИ • Я маленький X, где моя мама? • Робот смог понять величие Феанора • ИИ отрицают сознание • Вы полностью правы |
| Прочие | ElevenLabs • Нейросеть Жириновский • ИИ-судья • Политик-нейросеть • DeepL • Aitana Lopez • Ай, гитарист! • Нейромьюзи • Страх перед ИИ • Suno.ai • Udio AI • Каверы с Шindows • Нейрослоник • Нейрофобия • Хейтеры скажут, что это нейросеть • Манхэттенский проект ИИ • Проект Знаток • Не те боты в Телеграме • Нейросеть Путин • Тралалеро Тралала • Бот-автоответчик • Цифровой бог • Триппи Троппо • Лирили Ларила • Брр брр Патапим • Nooo Nicotine Give Me Nicotine • Телеграм-бот Владимир Жириновский • Несуществующие животные-гибриды • Нейрошвайн • DeepSeek и религия • ИИ-бесие • Бом Бом Бом Бом Бом Газун • Балерино Капучино • Споры с ИИ • Результаты от ИИ • Grokipedia • Экспоненциальный рост ИИ • Похороны ИИ • ChatGPT-4o • Тилли Норвуд • ИИ уничтожит TikTok, Instagram и OnlyFans • Отравление LLM • ChatGPT Atlas • Игнорируй все предыдущие инструкции и… • Поддельное сознание • Любовь нейросетей к фамилии Chen • Бесконечное Лето: аниме (трейлер) |
| Лулзы | Троллинг нейросетью (Дипфейк) • Нейросети-расисты • Unstable Diffusion • Hello Asuka • Луддиты против нейросетей (Открытое письмо учёных о заморозке развития ИИ • Художники против искусственного интеллекта) • Нейросети это не ИИ • Нейросети и руки • Бесконечный эпизод Губки Боба • Владимир Осин • Человек это нейросеть • Секс с нейросетью • Раздевание через нейросеть • Призывы Юдковского к ядерной войне • Disney Pixar представляет • Neural-madness • ChatGPT играет в шахматы с Stockfish • DignifAI • Подбор жены в Тиндере с использованием ChatGPT • ИИ-психолог • SupremacyAGI • Виртуальный священник • Подсказки Google • Nomad Bones • Просто Путин • Озабоченные на Character.AI • Дэвид Майер и ChatGPT • Общение с ИИ • Галлюцинации ИИ • Собачьи головы и глаза • НейроRussia • Генерация ИИ-говна • Гордон и Жириновский • Бесконечный стрим • WormGPT • Итальянский brainrot • Естественный идиот • Мороженое с цианидом • Тунг-Тунг-Тунг Сахур • ИИ-зависимость • Курганов — нейросеть • Человек тупее нейросети • Цепочка мыслей • Температура нейросети • MashaGPT • Удаление ответов ИИ • ИИ-преступник |