Новости проекта
ИИ-роботов можно закрывать по одному
Раньше ИИ-краулеров закрывал только общий переключатель. Теперь можно закрыть, например, робота Meta и сборщика цен, а ChatGPT и Perplexity оставить.
У одного магазина одежды робот Meta-ExternalAgent за сутки прислал около 5,6 тыс. запросов, сборщик цен GeedoShopProductFinder ещё 2 тыс. Почти все запросы шли напрямую на карточки товаров, которые сняли с продажи сезон-два назад. Сайт отвечал на них 404, но каждый такой ответ всё равно запускал PHP и базу.
Закрыть их можно было только вместе со всеми ИИ-краулерами. Тогда сайт выпал бы и из ответов ChatGPT и Perplexity, а владелец этого не хотел: оттуда приходят покупатели.
Теперь под переключателем «ИИ-краулеры» в настройках защиты есть список «Закрыть отдельных роботов». Отмеченный робот получает от модуля короткий отказ 403, как при выключенном переключателе, и не доходит до сайта. Остальные ИИ-краулеры читают сайт как раньше, с тем же лимитом частоты.
Поисковых роботов, мониторинги и превью ссылок в мессенджерах в список не добавить: их закрытие бьёт по выдаче, оплатам и ссылкам. Превью Facebook — отдельный робот, на него список не действует. Отмеченные роботы автоматически попадают в готовый блок robots.txt под переключателем: честные роботы перестанут приходить сами.
Модуль обновлять не нужно, решение принимает сервис.