Краулер
Робот, который систематически обходит сайты и собирает их содержимое. Поисковые роботы и ИИ-краулеры — частные случаи.
Краулер обходит сайты по ссылкам, скачивает страницы и передаёт их дальше — в индекс поисковой системы, в архив или в обучающий набор языковой модели.
Основные группы:
Поисковые. Googlebot, YandexBot, Bingbot. Приносят трафик в обмен на содержимое.
ИИ-краулеры. GPTBot, ClaudeBot, PerplexityBot. Собирают тексты для обучения моделей и для ответов в чатах. Обмен здесь менее очевиден: трафик они возвращают редко.
Архивные. Common Crawl, Internet Archive.
Мониторинговые. Сервисы SEO-анализа, проверки доступности, отслеживания упоминаний.
Отношение к каждой группе владелец сайта определяет сам, но проверять принадлежность стоит всегда: прикрыться именем известного краулера — самый простой способ пройти мимо защиты.
Что с этим делать
Страницы о защите от того, что описано выше: как это выглядит на сайте и что делает BotBan.
Смежные термины
Подробнее в блоге
- Сколько ботов приходит на сайты: данные 14 сайтов за 30 дней Месяц журнала 14 сайтов, 20,3 млн запросов к страницам: больше половины движок счёл подозрительными. Объясняем, откуда такая цифра, почему людей при этом не задевают и почему в рекламе ботов почти нет, а в формах — треть.
- Хостинг пишет о превышении нагрузки: как понять, что это боты, и что делать Процессорное время на хостинге кончается не от покупателей. Разбираем, как по логам за десять минут понять, кто грузит сайт, и почему переход на тариф дороже обычно ничего не решает.
- Боты на сайте: зачем они приходят, как их увидеть и что делать Половина запросов к обычному сайту приходит не от людей, и это нормально. Ненормально другое: когда вы не знаете, кто эти «не люди». Разбираем по порядку, с цифрами.