Краулер
Робот, который систематически обходит сайты и собирает их содержимое. Поисковые роботы и ИИ-краулеры — частные случаи.
Краулер обходит сайты по ссылкам, скачивает страницы и передаёт их дальше — в индекс поисковой системы, в архив или в обучающий набор языковой модели.
Основные группы:
Поисковые. Googlebot, YandexBot, Bingbot. Приносят трафик в обмен на содержимое.
ИИ-краулеры. GPTBot, ClaudeBot, PerplexityBot. Собирают тексты для обучения моделей и для ответов в чатах. Обмен здесь менее очевиден: трафик они возвращают редко.
Архивные. Common Crawl, Internet Archive.
Мониторинговые. Сервисы SEO-анализа, проверки доступности, отслеживания упоминаний.
Отношение к каждой группе владелец сайта определяет сам, но проверять принадлежность стоит всегда: прикрыться именем известного краулера — самый простой способ пройти мимо защиты.
Смежные термины
Подробнее в блоге
- Сайт под атакой ботов: что делать прямо сейчас Короткая инструкция для ситуации, когда разбираться некогда: сайт тормозит или лёг, и подозрение на ботов.
- Виды ботов на сайте: кто полезен, кто вреден, кто посередине Половина автоматического трафика полезна, и без неё сайт станет хуже. Кто есть кто и по каким признакам их различать.
- ИИ-краулеры на сайте: GPTBot, ClaudeBot и другие Новый класс роботов, про который два года назад никто не думал. Кто это такие, чем отличаются от поисковиков и что даёт решение их закрыть.