ИИ-краулер
Робот, который собирает тексты для обучения языковых моделей или для ответов ИИ-ассистентов: GPTBot, ClaudeBot и другие. Подтверждается по диапазонам адресов.
Компании, которые делают языковые модели, публикуют диапазоны адресов своих роботов, и по ним робота можно подтвердить так же надёжно, как поисковый — обратным DNS. Пускать таких роботов или нет — вопрос политики сайта: кому-то важно попадать в ответы ассистентов, кто-то не хочет отдавать тексты на обучение.
В BotBan это отдельная настройка: подтверждённые ИИ-краулеры либо проходят в рамках бюджета роботов, либо получают отказ, но никогда не смешиваются с обычными ботами в статистике. Тот, кто просто написал «GPTBot» в строке браузера, не подтвердившись адресом, попадает под подозрение как любой поддельный робот.
Что с этим делать
Страницы о защите от того, что описано выше: как это выглядит на сайте и что делает BotBan.
Смежные термины
Подробнее в блоге
- Виды ботов на сайте: кто полезен, кто вреден, кто посередине Половина автоматического трафика полезна, и без неё сайт станет хуже. Кто есть кто и по каким признакам их различать.
- ИИ-краулеры на сайте: GPTBot, ClaudeBot и другие Новый класс роботов, про который два года назад никто не думал. Кто это такие, чем отличаются от поисковиков и что даёт решение их закрыть.