Роботы в Метрике: откуда они берутся и как убрать их из отчётов

Владелец магазина присылает скриншот: в Метрике за неделю 4 500 посетителей, а в нашем кабинете у того же сайта «визитов» в разы больше, и половина из них помечена как роботы. Вопрос обычно звучит так: «кто из вас врёт?». Никто. Метрика и защита на сервере считают разные вещи, и пока это не разложить по полкам, с ботами в отчётах не разобраться.

Что такое «визит» у Метрики и у сервера

Метрика считает визит, когда её скрипт выполнился в браузере и отправил данные на счётчик. Один человек, одна сессия, сколько бы страниц он ни открыл. Визит заканчивается через полчаса тишины.

Сервер считает каждый запрос страницы. Тот же человек, открывший пять страниц, даст пять запросов. Поисковый робот, обходящий каталог, даст тысячи запросов и ни одного визита в Метрике: скрипт он не выполняет.

Отсюда первый вывод. Если у вас 4 500 посетителей в Метрике и 50 000 запросов на сервере, это ещё не значит, что 45 000 из них боты. Большая часть разницы — обычные люди, листающие страницы, и роботы Яндекса с Google, которые Метрику не загружают. На одном из подключённых к нам сайтов за месяц было 192 тысячи запросов, из них 140 тысяч — подтверждённые роботы поисковиков и Директа. В Метрике их не было, и это правильно.

Мы специально добавили в кабинет строку «браузеров исполнили скрипт». Это число ближе всего к посетителям Метрики: у одного сайта за сутки оно было 416 против 411 визитов в Метрике при 4,5 тысячи «посетителей» по данным сервера. Сравнивать с Метрикой нужно его, а не общее число запросов.

Откуда тогда роботы в самой Метрике

Если робот Яндекса скрипт не выполняет, кто попадает в отчёт «Роботы»? Те, кто выполняет: боты на настоящих браузерах. Накрутчики поведенческих факторов, часть парсеров на Chrome без интерфейса, сервисы проверки сайтов, а иногда и чужие мониторинги, которые открывают страницу целиком.

Метрика делит их на две группы, и это видно в отчёте «Стандартные отчёты → Мониторинг → Роботы». «Роботы по данным Яндекса» — те, кого Яндекс знает по своим базам. «Роботы по поведению» — те, кого вычислили по признакам: нет движения мыши, одинаковые интервалы, странный набор свойств браузера. Вторая группа интереснее: туда попадают как раз накрутчики и самодельные боты.

Что означает резкий рост доли роботов в Метрике? Почти всегда одно из трёх. Кто-то запустил накрутку ПФ по вашим запросам, чаще всего не для вас, а против вас, чтобы Яндекс заподозрил вас в накрутке. Или конкурент поставил парсер цен на браузерном движке. Или сервис, который вы сами подключили, проверяет страницы каждые несколько минут.

Что включить в настройках счётчика

В настройках счётчика, вкладка «Фильтры», есть переключатель «Фильтрация роботов». Два варианта: «Учитывать только по строгим правилам и поведению» и «Учитывать всех роботов». Первый вариант убирает роботов из отчётов, второй оставляет. По умолчанию стоит фильтрация, и трогать её не нужно, если вы не разбираете атаку.

Там же можно добавить фильтры по IP: не учитывать визиты со своих адресов и адресов офиса. Это убирает из отчётов вас самих, что на маленьком сайте заметно.

Чего настройки не сделают: не остановят бота. Фильтр убирает его из отчёта, а запросы к серверу как шли, так и идут. Нагрузка, спам в формах и скликивание рекламы остаются.

Когда Метрика роботов не видит

Робот по поведению определяется по тому, что происходит на странице. Бот, который хорошо имитирует человека, двигает курсор и ждёт, в отчёт не попадёт. Бот, который вовсе не загружает скрипт, тем более. Так что в Метрике вы видите самый неумелый и самый наглый слой, а середину — нет.

С другой стороны, Метрика считает роботами и вполне полезные вещи. Робот Яндекс Директа YaDirectFetcher проверяет страницы объявлений, причём настойчиво: у одного магазина он делал 10,8 тысячи запросов в сутки к одной странице. В Метрике его нет, в логах сервера он есть, и блокировать его нельзя, иначе Директ сочтёт сайт недоступным.

Как посмотреть на ботов с другой стороны

Сервер видит всех, кто к нему обращался, независимо от скрипта. Самый простой способ посмотреть — вставить кусок лога nginx или Apache в анализатор лога: он покажет долю автоматического трафика, самые активные адреса и тех, кто ходил по адресам вроде /wp-login.php на сайте без WordPress.

Если нужна картина не за вечер, а постоянно, это уже задача защиты на сервере. В кабинете BotBan визиты разложены на четыре части: посетители, поисковые роботы, служебные запросы и боты. Роботов мы подтверждаем обратным DNS, а не строкой User-Agent, поэтому поддельный «Googlebot» с хостинга попадает в боты, а настоящий — в роботы. Рядом с разбивкой стоит то самое число браузеров, исполнивших скрипт, чтобы сравнение с Метрикой было честным.

Что делать, если роботов стало много

1. Посмотрите в Метрике отчёт «Роботы» за месяц: где рост, с каких источников, по каким страницам.
2. Если рост в «роботах по поведению» и источники — поиск по вашим коммерческим запросам, это похоже на накрутку. Не паникуйте и не пишите Яндексу сразу: сначала соберите адреса и даты.
3. Проверьте, нет ли среди «роботов» ваших же сервисов: мониторинги, проверки позиций, конструкторы отчётов. Их адреса стоит добавить в исключения счётчика.
4. Остановите ботов там, где они делают запросы: на сервере. Метрика их только показывает.

И последнее. Доля роботов в Метрике сама по себе не плохой и не хороший показатель. Плохой показатель — её резкое изменение без причины, которую вы знаете.