ИИ-боты долбят сайты
ИИ-боты долбят сайты (также Большое количество запросов от ИИ) — известный нынче феномен, который кравлёры разных ИИ начинают буквально долбить сайт, причём количество запросов спокойно может достигать и миллиона запросов за час, что для большинства сайтов вызывает падение.
Описание[править]
Появившиеся несколько лет назад LLM наполняют себя за счёт публичной информации, в том числе из интернета. А для этого они курсируют и собирают информацию с каждого сайта, причём стараются посетить все страницы и собрать как можно большее её количество (так как чем больше информации в сети, тем она выдаёт более качественные ответы).
И вот появилось множество кравлёров, которые ищут сайты и затем проходят по ним подобно простым поисковым роботам. Но если поисковое обновление довольно щадящее, то ИИ в состоянии скачивать всё содержимое сайта множество раз, цели чего непонятны (вероятно, попадает в сломанный цикл), и делать это очень и очень быстро (в минуту идут десятки тысяч запросов).
При этом ИИ хитросраки — они применяют виртуальные браузеры, которые не имеют специализированного идентификатора User-Agent, им вообще говоря пофиг на robots.txt (даже если там сказано, что поисковик не должен определённые страницы индексировать, радостный робот всё равно будет это делать).
Если заблокировать IP или диапазон, то робот меняет его, аналогично меняется и юзер-агент.
В 2025 году нагрузка от кравлёров выросла на 87 %, причём основной трафик идёт от RAG-собирателей, а не для первичного обучения моделей. То есть трафик идёт постоянно и прекращаться не собирается. Нынче ИИ-кравлёры генерируют порядка 80 % всего трафика ИИ-ботов в интернете. Всего 20 % приходится на фетчеры, но именно они ответственны за серьёзные пиковые нагрузки. Например, ClaudeBot компании Anthropic смог отправить миллион запросов за сутки к сайту с техническими инструкциями iFixit и рекордное количество — 3,5 млн запросов за четыре часа к Freelancer.
