Раздел «Реклама»: клики ботов, адреса для исключения и жалоба

Раздел «Реклама» — в меню кабинета, сразу под журналом визитов. Сайт и период выбираются вверху, как на дашборде.

Что в разделе

• Главные цифры: кликов по рекламе за период, сколько из них люди, сколько боты и какая это доля, изменение к прошлому такому же периоду. Если ввести свою цену клика, рядом появится прикидка, сколько заплачено за клики ботов.
• Клики по времени — график: люди зелёным, проверка жёлтым, блок красным.
• Кто кликал — кольцо с долей ботов и Рекламные системы — Директ, Google Ads, VK Реклама: сколько кликов из каждой и сколько из них боты.
• Последние клики — каждый переход по рекламе с адресом, рекламной системой, страницей и решением; переключатель «Все / Боты / Люди». По клику на строку открывается журнал визитов этого адреса.
• Адреса ботов, кликавших по рекламе, и выгрузки: для Директа, для Google Ads и отчёт для жалобы.
• Как это работает — три шага, о которых ниже.

На сайте в режиме наблюдения ботов не останавливают, и раздел пишет «заблокировали бы» — это прогноз того, что будет после включения защиты.

Как мы узнаём клик по рекламе

Рекламные системы дописывают к адресу посадочной страницы метку клика: Директ — yclid (если в кампании включена разметка ссылок для Метрики, в новых кампаниях она включена сразу), Google Ads — gclid (при автоматической пометке). Подходят и utm-метки с платным каналом — utm_medium=cpc, ppc, paid и подобные; источник берётся из utm_source. Если меток нет, рекламу выдаёт переход с рекламной сети Яндекса или Google.

Из адреса страницы мы берём только эти метки, остальные параметры в журнал не попадают. Модулю ничего настраивать не нужно. Скрипт защиты присылает метки с версии 1.1.4 — он обновляется сам.

Что происходит с таким посетителем

Ничего особенного — и это намеренно. Для рекламы правила не строже обычных: ошибка на оплаченном клике живого человека стоит дороже всего. Бот, пришедший по рекламе, получает то же, что любой бот: проверку или блокировку. Он не видит страницу, не отправляет формы и не создаёт ложных конверсий, на которых учатся автостратегии Директа.

Чего блокировка не делает

Рекламная система списывает деньги в момент клика. Заблокировать бота на сайте — значит не пустить его дальше, но деньги за клик это не вернёт. Поэтому на странице два инструмента.

Исключить адреса в кампании. Выгрузка для Директа — до 25 адресов (лимит самого Директа) для поля «Запрещённые IP-адреса»: прежде всего боты, кликавшие по рекламе, а если таких нет — самые назойливые. Для Google Ads — до 500 адресов. Боты часто меняют адреса, так что это страховка от повторов, а не полная защита.

Посчитать, сколько бюджета ушло ботам. Карточка «Сколько денег уходит ботам» ведёт на страницу «Бюджет на ботов»: там подключается ваша Яндекс Метрика, и клики ботов раскладываются по кампаниям, фразам и площадкам с расходом в рублях — статья «Бюджет на ботов: Метрика и Директ».

Пожаловаться в рекламную систему. Отчёт «Клики ботов для жалобы» — CSV с заблокированными кликами по рекламе: время по Москве, адрес, рекламная система, метка клика (yclid, gclid), страница, балл и причина. По метке поддержка находит конкретный клик. В отчёт идут только блокировки: проверку живой человек проходит сам, и спорный визит ослабил бы обращение. Вернут ли деньги, решает рекламная система.

Цена клика и журнал

Цену клика мы не храним: она запоминается только в вашем браузере. В журнале визитов есть фильтр «С рекламы», а в карточке визита — рекламная система и метка клика.

Все пойманные адреса

Адреса всех ботов, а не только кликавших по рекламе, — на странице «Адреса ботов» (со страницы сайта). Там же выгрузка в таблицу и отдельный список для файрвола и веб-сервера. По умолчанию страница показывает 30 дней, можно выбрать 7 дней или 24 часа. Список собирается из сводки по адресам, которую сервис ведёт по ходу работы, а не из журнала визитов, поэтому и месяц открывается быстро. Список за 24 часа отстаёт от журнала не больше чем на минуту, списки за 7 и 30 дней обновляются раз в 10 минут.

Что исключается из выгрузки

В список попадают адреса с вердиктом «проверка» или «блокировка», кроме двух видов:

• Общие сети — операторский NAT, сети мобильных операторов, CDN, приватные диапазоны. Занести такой адрес в исключения рекламы — значит перестать показывать объявления целому району.
• Белый список — адреса, которые вы сами разрешили.

Остальные форматы

• CSV — полный список: запросы, из них с рекламы, максимальный балл, последний визит.
• Список для сервера и файрвола — отдельная карточка вверху страницы: ipset, nginx и .htaccess. Это другой список, строже: в таблице ниже есть и адреса, получившие одну проверку, а закрывать на сервере можно только тех, кто раз за разом оказывался программой. Как он собирается и как поставить его на автообновление — в статье «Список для файрвола и fail2ban».

Как часто обновлять

Адреса ботов живут недолго: парсер меняет прокси, атака затихает. Список за 30 дней — разумный компромисс; выгружайте его раз в неделю и заменяйте прошлый, а не дописывайте. Тот же список доступен через публичный API.