Новости проекта
ИИ-роботы и сборщики цен теперь ходят по сайту понемногу
Роботы ИИ-сервисов и сборщики цен получают не больше 10 запросов в минуту на сайт, сверх лимита — короткий ответ «подождите». Сайт остаётся в ответах ассистентов, а сервер не тонет в пачках запросов к карточкам.
Владелец интернет-магазина на Битриксе пожаловался: сайт то работает, то еле грузится. Мы разобрали журнал сервера за полдня. Живые покупатели заняли процессор на 310 секунд, а роботы, которых мы пропускали, — на 3 900. Больше всех — сборщик цен GeedoShopProductFinder, робот Meta и PerplexityBot. Последний присылал по 18 запросов одновременно к карточкам товаров, которых нет в кэше, и каждая собиралась почти по две секунды. На двух ядрах покупатели в это время ждали по 4–5 секунд.
Закрывать таких роботов совсем не хочется: через них сайт попадает в ответы ChatGPT, Perplexity и других ассистентов. Поэтому теперь их пускают понемногу. Каждому ИИ-роботу и сборщику цен — не больше 10 запросов в минуту на сайт, со всех его адресов вместе. Сверх лимита робот до конца минуты получает короткий ответ 429 «подождите», и честные роботы сбавляют темп сами. За сутки это всё равно до 14 тысяч страниц.
Лимит включён у всех сайтов. Число меняется в настройках защиты, блок «Кого не трогать никогда», там же его можно выключить. Поисковых роботов, Яндекс Директ, Метрику, мониторинги и превью ссылок в мессенджерах он не касается. Нужен модуль 1.4.10 или новее — у подключённых сайтов он обновляется сам.
Заодно в каталог роботов добавлены ExaSearchBot, ElevenlabsCrawler, RiverBot, tphotobot и GeedoShopProductFinder. Раньше они ходили как обычные посетители и почти всегда набирали меньше порога проверки.