BotBan

Новости проекта

Дашборд показывает, из чего состоят визиты: посетители, роботы поисковиков и боты

Визит BotBan — запрос страницы, а не сеанс человека, как в Метрике, поэтому цифры у нас обычно в разы больше. Теперь дашборд делит визиты на посетителей, подтверждённых роботов поисковиков, служебные запросы сайта и ботов.

Владелец одного из подключённых сайтов спросил, почему у нас 6 675 визитов за сутки, а Яндекс Метрика показывает в разы меньше. Мы разобрали эти визиты. Почти половина — подтверждённые роботы Яндекса и Google: только YandexBot сделал 1 753 запроса, робот самой Метрики — 687. Ещё 4 % — задания по расписанию самого сайта, 7 % — боты, которых движок проверил или заблокировал. На посетителей пришлось около 40 %, и даже эту часть нельзя напрямую сравнивать с визитами Метрики.

Цифры у нас и в Метрике разные, потому что «визит» значит разное. Визит BotBan — каждый запрос страницы, который проверил модуль: человека, робота или бота. Визит Метрики — сеанс человека: несколько просмотров — один визит, роботов по умолчанию не видно, а счётчик срабатывает только у тех, у кого исполнился его скрипт.

Что изменилось

Под четырьмя метриками дашборда появилась полоса, которая делит все визиты периода на пять частей:

  • Посетители — пропущенные визиты без роботов и служебных запросов;
  • Поисковые и другие роботы — роботы Яндекса, Google, Bing и других поисковиков, подтверждённые обратным DNS, опубликованными списками адресов или подписью запроса, разрешённые роботы соцсетей и мессенджеров и обращения к robots.txt;
  • Служебные запросы — адреса и пути из ваших белых списков, например обмен с 1С;
  • Боты: проверка и Боты: блок — кого движок отправил на проверку или заблокировал. В режиме наблюдения — кого он остановил бы.

Ссылка «Почему в Метрике меньше?» рядом с полосой объясняет разницу. С Метрикой стоит сравнивать строку «Посетители». Она обычно всё равно больше: часть ботов выглядит как настоящий браузер, а у части людей счётчик Метрики заблокирован расширениями браузера.

Запросы сервера сайта к самому себе — задания по расписанию, прогрев кэша — визитами больше не считаются: их нет ни в журнале, ни в статистике, ни в лимите тарифа. На одном из сайтов такое задание раз в минуту давало треть всех визитов. Нашу проверку доступности мы не считали и раньше.

Разбивка посчитана и за прошлые дни: журнал визитов хранится 30 дней, и все периоды дашборда её покажут. Подробнее — в статье «Обзор кабинета», раздел «Из чего состоят визиты».