Зачем боты заходят на сайт: восемь причин, от сбора цен до прогрева профилей

Владелец небольшого магазина открывает лог и видит, что за ночь к сайту обратились восемь тысяч раз, а заказов ноль. Первая мысль — кто-то копает именно под него. Обычно нет. У каждого бота есть заказчик и цель, и цель эта редко связана лично с вами: чаще сайт просто попал в список из миллиона адресов. Мотив полезно знать по сугубо практической причине — от него зависит, что программа будет делать на сайте и стоит ли с ней вообще что-то делать.

Кто бывает по видам, мы уже раскладывали в статье о видах ботов. Здесь взгляд с другой стороны: зачем каждый приходит, как это выглядит в логе и в Метрике и во что обходится.

1. Проиндексировать и проверить: поисковые и сервисные роботы

Самая большая и самая нужная группа. YandexBot и Googlebot обходят страницы, чтобы поиск знал о новых товарах и ценах. Робот Директа YaDirectFetcher проверяет, открывается ли посадочная страница объявления. Краулеры Telegram и VK забирают заголовок и картинку, когда кто-то делится ссылкой в чате.

В логе у них честное имя в строке User-Agent и ровный обход, часто без картинок и стилей. Имя ничего не доказывает — его подделывают первым делом. Доказывает адрес: обратный DNS должен вернуть имя хоста в домене компании (у Яндекса это yandex.ru, yandex.net, yandex.com, у Google — googlebot.com или google.com), а прямой запрос по этому имени — тот же адрес. В Метрике таких роботов нет: скрипт счётчика они не выполняют.

Вреда от них нет, расход есть. На 14 сайтах под нашей защитой за месяц с 22 сентября подтверждённые поисковые и сервисные роботы сделали 30,2 % всех запросов к страницам — почти треть, и трогать её нельзя. У магазина напольных покрытий робот Директа проверял посадочные страницы около 10,8 тысячи раз в сутки, причём по тяжёлому /index.php, и хостинг отключал сайт за нагрузку. Блокировать его было бы ошибкой: Директ счёл бы сайт недоступным. Помогли кэш и ускорение страницы.

2. Убедиться, что сайт жив: мониторинги

UptimeRobot, Pingdom, проверки хостинга, ваши собственные задания по расписанию. В логе это одна и та же страница, обычно главная, с интервалом ровно в минуту или пять, с одного-двух адресов. По ровности их легко принять за атаку, но вреда никакого. Заблокируете — получите тревоги о падении сайта, который на самом деле работал.

Свои служебные запросы лучше внести в белый список заранее, а не после первой проблемы. У нас был случай: скрипт с чужого хостинга, обычный wget по cron, получал проверку браузера, пока его адрес не добавили в исключения. Программа без JavaScript проверку не проходит, и задание тихо перестало работать.

3. Узнать ваши цены: парсеры

Мотив прямой — деньги. Конкурент каждое утро собирает каталог, чтобы выставить цену на рубль ниже. Сервис мониторинга цен делает то же за абонентскую плату. Агрегатор забирает описания и фото для своих карточек, автор сайта-дорвея — тексты целиком.

В логе это последовательный обход категорий и пагинации, ?page=1, ?page=2 и дальше, с одинаковыми паузами и без запросов к картинкам, стилям и шрифтам. Часто ночью и с адресов хостинга. Парсер посерьёзнее ходит через домашние прокси и на настоящем браузере. Тогда он виден и в Метрике: короткие визиты прямым заходом на глубокие страницы каталога, по одной-две страницы.

Опасность здесь измеряется не нагрузкой, а продажами: вы проигрываете в цене тому, кто читает вас каждый день. Как отличить парсер от покупателя, мы разбирали в статье о поиске парсеров.

4. Собрать тексты для модели: ИИ-краулеры

GPTBot, ClaudeBot, Bytespider, CCBot и похожие собирают тексты, чтобы обучать языковые модели или подставлять ваши страницы в ответы чат-ботов. Для многих это новая причина и самая спорная: трафика назад такие роботы возвращают мало.

В логе у них, как правило, честное имя и широкий обход всего подряд, включая архив статей и страницы фильтров. У некоторых высокий темп. В Метрике их нет. Для магазина вред невелик, для издателя, у которого тексты и есть товар, заметен. Решение тут скорее деловое, чем техническое: хотите вы, чтобы ваши материалы попадали в ответы ИИ, или нет. В BotBan для ИИ-краулеров отдельный переключатель: закрыть их можно, не задев поисковики. Подробнее — в разборе про GPTBot и ClaudeBot.

5. Найти забытый файл: сканеры уязвимостей

Сканер ничего не знает о вашем бизнесе. Он идёт по списку адресов и у каждого спрашивает одно и то же: /.env, /.git/config, /backup.sql, /wp-config.php.bak, /phpinfo.php. Если ответ хоть раз не 404, адрес попадает в отдельный список, и дальше им занимается следующий скрипт или человек.

В логе это десятки 404 подряд с одного адреса по путям, которых на сайте нет, запросы к WordPress на сайте на Битриксе и наоборот, строки вроде zgrab или Nuclei, иногда пустой User-Agent. В Метрике ничего.

Пока секретов в открытом доступе нет, сканер только шумит. Один забытый в корне дамп базы — и он становится причиной самой дорогой утечки в истории сайта. Живой посетитель за запросом к /.env стоять не может, поэтому такой запрос стоит считать уликой с первого раза, не дожидаясь повторов.

6. Подобрать пароль: перебор

Цель — админка, а через неё база клиентов, заказы или сам сервер, на котором можно разместить чужой код. Перебирают по словарям и по утёкшим базам: пара «почта — пароль» с одного взломанного сервиса проверяется на тысячах других.

В логе это POST на /wp-login.php, /xmlrpc.php, /bitrix/admin/, /administrator/ — сотни раз с одного адреса или по нескольку раз с сотен разных. Ответ каждый раз 200 и та же форма входа. В Метрике пусто или единичные визиты на страницу входа.

Это одна из немногих причин, где опасность высокая по определению: достаточно одной удачной попытки. Есть и нагрузка — проверка пароля нарочно сделана медленной операцией, и тысяча попыток в минуту загружает сервер даже без единого успешного входа.

7. Оставить ссылку или заявку: спам в формах

Мотивов несколько. Один продвигает свои ссылки через комментарии и отзывы. Другой рассылает SMS и звонки на чужие номера через вашу форму обратного звонка: сайт сам отправляет сообщение, а платите за него вы. Третий просто забивает CRM мусором, чтобы менеджеры конкурента тонули в фальшивых заявках.

В логе выдаёт POST на адрес формы без предшествующего открытия страницы или через секунду после него, и повторы с одного адреса. В CRM — бессмысленный текст, одинаковые телефоны, ссылки на незнакомые сайты. Денег такой бот напрямую не уносит, но съедает время людей и портит воронку продаж.

8. Нагулять профиль: прогрев для накрутки и скликивания

Самая неочевидная причина и самая трудная для обнаружения. Ботам, которые накручивают поведенческие факторы или кликают по рекламе, нужно выглядеть людьми в глазах Яндекса. Для этого их браузерные профили «нагуливают»: каждый неделями ходит по обычным сайтам и копит cookie, историю и визиты Метрики. Ваш сайт при этом может быть одной из точек маршрута, выбранной потому, что тематика популярная или сайт стоит высоко по частому запросу.

В логе такой бот похож на человека: настоящий браузер, полный набор заголовков, картинки и стили грузятся. Выдают мелочи — адрес из сети прокси или хостинга, мобильная строка браузера из дата-центра, одинаковое разрешение экрана у сотен разных «посетителей». В Метрике это рост прямых заходов и заходов из поиска по странным запросам, визиты в одну страницу и меньше минуты длиной, всплески ночью.

Прямой вред от нагула небольшой: сайт отдал несколько страниц. Косвенный больше — такие визиты портят отчёты, и по ним уже нельзя судить о рекламе и о сайте. А если тот же профиль потом используют против вас, для накрутки отказов по вашим запросам или кликов по вашим объявлениям, это отдельная история, разобранная в статье о накрутке ПФ конкурентами.

Что делать с этим знанием

Мотив подсказывает меру. Роботов из первых двух групп не трогать вообще, служебные адреса внести в белый список до того, как с ними что-то случится. С ИИ-краулерами решить один раз и записать решение. Сканеры и перебор паролей останавливать сразу, здесь ошибиться трудно. Парсеры, спам и нагул — самая сложная часть: от людей их отличает только совокупность мелких признаков, и на них нужна защита, которая смотрит на каждый запрос, а не на страну или отдельный адрес.

Начать можно с куска собственного лога: анализатор покажет самые активные адреса, библиотеки в строке браузера, поиск секретов и обращения к админке, а заявленных роботов поисковиков выделит отдельно. BotBan делает такой разбор постоянно. Новый сайт сначала только наблюдает, в журнале у каждого визита записан признак, по которому он отнесён к ботам, а тех, кого защита не трогает никогда, мы перечислили на отдельной странице.