Поисковый робот
Краулер поисковой системы, индексирующий сайт. Блокировать его — значит выпасть из выдачи.
YandexBot, Googlebot, Bingbot и другие обходят сайт, скачивают страницы и передают их в индекс. Без них сайта в поиске не существует.
Главная опасность при настройке защиты — заблокировать настоящего робота. Последствия отложенные и тяжёлые: страницы выпадают из выдачи в течение недель, а возвращаются месяцами.
Вторая опасность зеркальная: пропустить всех, кто именем робота прикрылся. Подделать строку User-Agent — вопрос одной строки кода, и приём этот стар как сам интернет.
Единственный надёжный способ различить — проверка обратным DNS.
Что с этим делать
Страницы о защите от того, что описано выше: как это выглядит на сайте и что делает BotBan.
Смежные термины
Подробнее в блоге
- Роботы в Метрике: откуда они берутся и как убрать их из отчётов Метрика показывает роботов по-своему и видит не всех. Разбираем, что означает её отчёт, какие галочки в настройках счётчика действительно работают и почему цифры в Метрике и на сервере никогда не сойдутся.
- Сайт под атакой ботов: что делать прямо сейчас Короткая инструкция для ситуации, когда разбираться некогда: сайт тормозит или лёг, и подозрение на ботов.
- ИИ-краулеры на сайте: GPTBot, ClaudeBot и другие Новый класс роботов, про который два года назад никто не думал. Кто это такие, чем отличаются от поисковиков и что даёт решение их закрыть.