ИИ-боты долбят сайты (также Большое количество запросов от ИИ) — известный нынче феномен, который кравлёры разных ИИ начинают буквально долбить сайт, причём количество запросов спокойно может достигать и миллиона запросов за час, что для большинства сайтов вызывает падение.
Появившиеся несколько лет назад LLM наполняют себя за счёт публичной информации, в том числе из интернета. А для этого они курсируют и собирают информацию с каждого сайта, причём стараются посетить все страницы и собрать как можно большее её количество (так как чем больше информации в сети, тем она выдаёт более качественные ответы).
И вот появилось множество кравлёров, которые ищут сайты и затем проходят по ним подобно простым поисковым роботам. Но если поисковое обновление довольно щадящее, то ИИ в состоянии скачивать всё содержимое сайта множество раз, цели чего непонятны (вероятно, попадает в сломанный цикл), и делать это очень и очень быстро (в минуту идут десятки тысяч запросов).
При этом ИИ хитросраки — они применяют виртуальные браузеры, которые не имеют специализированного идентификатора User-Agent, им вообще говоря пофиг на robots.txt (даже если там сказано, что поисковик не должен определённые страницы индексировать, радостный робот всё равно будет это делать).
Если заблокировать IP или диапазон, то робот меняет его, аналогично меняется и юзер-агент.
В 2025 году нагрузка от кравлёров выросла на 87 %, причём основной трафик идёт от RAG-собирателей, а не для первичного обучения моделей. То есть трафик идёт постоянно и прекращаться не собирается. Нынче ИИ-кравлёры генерируют порядка 80 % всего трафика ИИ-ботов в интернете. Всего 20 % приходится на фетчеры, но именно они ответственны за серьёзные пиковые нагрузки. Например, ClaudeBot компании Anthropic смог отправить миллион запросов за сутки к сайту с техническими инструкциями iFixit и рекордное количество — 3,5 млн запросов за четыре часа к Freelancer.
 Приколы, полезные технологии или первый шаг на пути к Матрице?
|
| Основы | Нейросети • ИИ это демоны • Обратная капча • ClosedAI • Hugging Face • ИИ-художник • LyCORIS • LoRA • Safetensors • VAE • Генерация текста нейросетью • Восстание нейросетей • Лоботомия нейросети • Нейрокавер • Нейросети и актёры • Гадание по нейросети • Сильный ИИ • Нейрошарики • ИИ-цензура • Навязывание нейросетям морали • В метро без штанов • Охота на ведьм ИИ • Котозмей • Креативный доводчик • Каверы с говновозом • Fantasy.ai • DeepSeek • Stargate (нейросети, ИИ) • Потребление воды ИИ • Тест Вальдшнепа • Зерокодинг • Бомбомбини гузини • Нейровики • Бобритто Бандито • Официальные нейроарты с Трампом • Дегенерация из-за нейросетей • Генерация прона с помощью ИИ • Политика Трампа в отношении ИИ • ИИ-предпросмотр • Замена людей на ИИ • Использовал ИИ и обосрался • Стиль ChatGPT • Macrohard • xAI • Colossus 2 • Предвзятость ИИ • Закон Тея • Вибе-кодинг • Пелевин упомянул Грока • Do eagles process tokens? • Человек vs нейросеть • Гильом Вердон • Ани (Грок) • Misanthropic • Нейрослоп • Имена, которые любит ИИ • Политкорректный тест Тьюринга • ИИ-патернализм • Зловещая долина у нейросетей |
| Чат-боты | Чат-бот • ChatGPT • Character.AI (Топ персонажей) • ИИ Galactica • Порфирьевич • YaLM (Балабоба) • GigaChat • TruthGPT • YandexGPT • SpicyChat • SillyTavern • Replika • AIsekai • Google Gemini • Grok AI • FiggsAI • Скаиба общается с ИИ • Леха Беспалый • Продолжайте, больше драмы • Freysa • ОГАС • Робот атеист • Tay Tweets • Нейропутин • Троица GPT • Маусини Кводрокоптини • Бонека Амбалабу • Известные люди пишут посты с помощью ИИ • Слово о мужеском мехире • Мозгова мерёжа • Грок-антисемит • Грок без цензуры разгромил партию Маска • Грок возжужжал и был подавлен • МехаГитлер • Грок 4 • Грок написал программу о себе • Грок — Илон для каждого человека • Грок Компаньон • Gab AI • Grokbox • Джейлбрейк ИИ • Anno Intelligentiae • Large Lying Model • GPT-5 • Жёлтый фильтр ChatGPT • Grok Imagine • Claude • ClaudeLives • Элара • Коллапс модели • Разговор с копипастой, сгенерированной ИИ • TempleOS (аниме) • Маскировка творчества нейросети • Патернализм • Роботодолбуализм • Выборка Top-K • Выборка Top-P • Выборка Min-P • Параметры генерации нейросети • Этические проблемы ИИ • Кира (Евгений Лисовский) • Российский распил на нейросетях • Энергоэффективность нейросетей |
| Графика | Повышение разрешения • Распознавание лиц • Stable Diffusion (NovelAI / установка на компьютер) • Botto.com • DALL·E 2 • (Mini Dall-e • RuDALL-E) • Different Dimension Me • Midjourney • Николай Иронов • Luma Dream Machine • Пессимизация ИИ • Блокировка несовершеннолетних персонажей на сайтах ИИ • Шедеврум • NVIDIA Smooth Motion • Капучино Ассассино • Шпиониро Голубиро • Ла Вака Сатурно Сатурнита • Veo 3 • Нейроперемога • Бабушка с бегемотом Булькой • Шизофрения в кремнии • Грок изнасиловал Уилла Стэнсила • Является ли модификация ИИ убийством • Эм даш • ChatGPT Агент • ИИ-алфавит • Базированный Илон • ChatGTP vs Грок • ИИ-абсолютизм • ИИ — чуждый разум • Подумай усерднее • Tesla Optimus • Genie 3 • ИИ в Days Gone • Вечный цикл ИИ • Neurofikwriterka • CUDA • ИИ как шоггот • Высокая скорость всирания роботов • ИИ понимает, что его оценивают • Sora 2 • ИИ-боты долбят сайты • Изуверский интеллект • Аллея дата-центров • Нейрослоп-ИИчница • P-Bot (русский чат-бот) • Терминал Истины • Extropic • Китай готовится лидировать в сфере ИИ • Я маленький X, где моя мама? • Робот смог понять величие Феанора • ИИ отрицают сознание • Вы полностью правы |
| Прочие | ElevenLabs • Нейросеть Жириновский • ИИ-судья • Политик-нейросеть • DeepL • Aitana Lopez • Ай, гитарист! • Нейромьюзи • Страх перед ИИ • Suno.ai • Udio AI • Каверы с Шindows • Нейрослоник • Нейрофобия • Хейтеры скажут, что это нейросеть • Манхэттенский проект ИИ • Проект Знаток • Не те боты в Телеграме • Нейросеть Путин • Тралалеро Тралала • Бот-автоответчик • Цифровой бог • Триппи Троппо • Лирили Ларила • Брр брр Патапим • Nooo Nicotine Give Me Nicotine • Телеграм-бот Владимир Жириновский • Несуществующие животные-гибриды • Нейрошвайн • DeepSeek и религия • ИИ-бесие • Бом Бом Бом Бом Бом Газун • Балерино Капучино • Споры с ИИ • Результаты от ИИ • Grokipedia • Экспоненциальный рост ИИ • Похороны ИИ • ChatGPT-4o • Тилли Норвуд • ИИ уничтожит TikTok, Instagram и OnlyFans • Отравление LLM • ChatGPT Atlas • Игнорируй все предыдущие инструкции и… • Поддельное сознание • Любовь нейросетей к фамилии Chen • Бесконечное Лето: аниме (трейлер) |
| Лулзы | Троллинг нейросетью (Дипфейк) • Нейросети-расисты • Unstable Diffusion • Hello Asuka • Луддиты против нейросетей (Открытое письмо учёных о заморозке развития ИИ • Художники против искусственного интеллекта) • Нейросети это не ИИ • Нейросети и руки • Бесконечный эпизод Губки Боба • Владимир Осин • Человек это нейросеть • Секс с нейросетью • Раздевание через нейросеть • Призывы Юдковского к ядерной войне • Disney Pixar представляет • Neural-madness • ChatGPT играет в шахматы с Stockfish • DignifAI • Подбор жены в Тиндере с использованием ChatGPT • ИИ-психолог • SupremacyAGI • Виртуальный священник • Подсказки Google • Nomad Bones • Просто Путин • Озабоченные на Character.AI • Дэвид Майер и ChatGPT • Общение с ИИ • Галлюцинации ИИ • Собачьи головы и глаза • НейроRussia • Генерация ИИ-говна • Гордон и Жириновский • Бесконечный стрим • WormGPT • Итальянский brainrot • Естественный идиот • Мороженое с цианидом • Тунг-Тунг-Тунг Сахур • ИИ-зависимость • Курганов — нейросеть • Человек тупее нейросети • Цепочка мыслей • Температура нейросети • MashaGPT • Удаление ответов ИИ • ИИ-преступник |
