Как посчитать долю ботов на своём сайте

Называют разное: от десяти процентов до половины трафика. Обе цифры верны для каких-то сайтов и бесполезны для вашего. Доля зависит от тематики, от того, есть ли у вас каталог, от размера рекламного бюджета и от того, интересны ли вы конкретно кому-то.

Ниже три способа получить свою цифру — от грубого к точному.

Способ первый: расхождение метрики и логов

Занимает пять минут и даёт нижнюю границу.

Возьмите число визитов в Яндекс.Метрике за сутки. Возьмите число запросов к страницам в логе сервера за те же сутки — без картинок и стилей:

grep '09/Sep/2026' access.log | grep -vE '\.(css|js|jpg|png|woff2|ico)' | wc -l

Разница — это трафик, который до Метрики не дошёл. Часть из него объясняется честно: блокировщики рекламы, отключённый JavaScript, уходы до загрузки счётчика. Но если запросов к страницам вдвое больше, чем визитов, дело не в блокировщиках.

Оговорка: способ не видит ботов, которые выполняют JavaScript. Они попадают и в логи, и в Метрику, и в этой разнице их нет. Поэтому это именно нижняя граница.

Способ второй: разбор логов

Точнее, но требует часа.

Посчитайте долю запросов, где User-Agent не начинается с Mozilla:

awk -F'"' '$6 !~ /Mozilla/' access.log | wc -l

Посчитайте адреса, которые за сутки сделали больше сотни обращений к страницам, не тронув ни одной картинки. Это почти наверняка программы.

Отдельно вычтите поисковых роботов — их надо проверить обратным DNS, а не по имени в User-Agent.

Оговорка: ручной разбор ловит очевидное. Бот, притворяющийся браузером и грузящий картинки, в такую сетку не попадёт.

Способ третий: неделя наблюдения

Самый точный и самый неторопливый.

Ставится защита в режиме, где она ничего не блокирует, а только считает. Каждый визит разбирается по десяткам признаков, и по каждому видно, что именно сработало.

Через неделю у вас есть не только доля, но и структура: сколько из этого парсеры, сколько сканеры, сколько накрутка, откуда они приходят и по каким страницам ходят.

Неделя, а не день, потому что автоматический трафик неравномерен: парсер конкурента может прийти раз в неделю, всплеск накрутки — в выходные.

Что делать с цифрой

Сама по себе доля мало что значит. Полезнее два производных числа.

Сколько это стоит в деньгах. Умножьте долю ботов среди рекламных визитов на свою цену клика и на число кликов. Получите сумму, которая уходит за клики, не способные принести заказ.

Сколько это стоит в искажении. Если пятая часть визитов не была людьми, то конверсия у вас занижена на пятую часть, а решения по рекламе принимаются по испорченным цифрам. Этот ущерб больше прямого, но в рублях не выражается.