Недействительные клики в Директе: что Яндекс не берёт в оплату сам, а что остаётся на вас

Кликов в отчёте Директа больше, чем визитов с рекламы в Метрике. В логе сервера переходов с меткой yclid ещё больше, а часть из них приходит с одних и тех же адресов. Где здесь недействительные клики, которые Яндекс не берёт в оплату, а где те, за которые вы уже заплатили? Ответ зависит от того, на каком шаге клик попал в фильтр.

Что Яндекс называет недействительным кликом

Недействительный клик — термин самой рекламной системы. Так Директ называет клики, которые не отражают реального интереса: повторные нажатия одного пользователя за короткое время, клики известных роботов, нажатия с явными признаками автоматики. За такие клики деньги не списываются, а если клик признан недействительным позже, при повторном анализе, деньги возвращаются на счёт.

Алгоритм фильтра Яндекс не раскрывает, и это понятно: опубликованные правила обходили бы через неделю. Интерфейс отчётов со временем меняется, поэтому где именно смотреть отфильтрованное и возвращённое по вашей кампании, уточняйте в справке Директа. Принципиально важно другое: клики, которые вы видите как оплаченные, — это уже то, что прошло фильтр. Всё, о чём дальше пойдёт речь, находится среди них.

Почему фильтр пропускает часть ботов

Рекламная система видит клик и всё, что было до него: откуда пришёл пользователь, какая у него история, сколько раз он нажимал на объявления сегодня, с какого устройства. Что посетитель делает после перехода, Яндекс знает только в той мере, в какой на сайте стоит Метрика и бот согласился её выполнить.

Отсюда три вида кликов, которые фильтр пропускает регулярно.

Бот на настоящем браузере с «прогретым» профилем. У него есть история, cookie, поисковые запросы за прошлые недели. В момент клика он выглядит как человек, и отсеять его по данным до перехода трудно.

Клики на площадках рекламной сети. Владелец площадки зарабатывает на кликах по объявлениям у себя, и часть площадок этим злоупотребляет. Фильтр ловит грубые схемы, аккуратные доживают до вашего счёта.

Распределённые клики. Одно нажатие с адреса, следующее — с другого города. Повторов нет, частоты нет, а бюджет к обеду кончился.

Сам фильтр при этом работает. Он просто консервативен: признать недействительным клик живого покупателя — ошибка и для Яндекса, и для вас. Поэтому спорное он оставляет в оплаченных. Признаки скликивания, которые видно в Метрике, разобраны в статье о скликивании в Директе, здесь не буду их повторять.

Как увидеть остаток

Остаток — это клики, которые Яндекс счёл нормальными, а на сайте повели себя как программа. Его видно только на вашей стороне.

Метка yclid. Директ дописывает её к адресу посадочной страницы, если в кампании включена разметка ссылок для Метрики; в новых кампаниях она включена сразу. Один клик — один номер. По метке визит на сайте связывается с конкретным кликом, кампанией и расходом. Почему метке клика можно верить больше, чем UTM, — в статье о метках yclid и gclid.

Метрика. Визиты с рекламы, отчёт «Роботы» с разбивкой по источникам, отказы по площадкам рекламной сети. Площадка, где почти все визиты длятся секунды и кончаются отказом, — первый кандидат на исключение. Ограничение известное: бот, который не выполнил скрипт Метрики, в ней не появится вовсе. Разница между кликами в Директе и визитами в Метрике — это и люди, ушедшие до загрузки счётчика, и такие боты, и отличить одних от других Метрика не может.

Лог сервера. Он видит каждый переход с меткой, выполнил посетитель скрипт или нет. Две команды для начала:

grep 'yclid=' access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -20
grep -o 'yclid=[0-9]*' access.log | sort | uniq -c | sort -rn | head

Первая покажет адреса, которые приходят по рекламе десятки раз. Вторая — метки, которые открывали многократно. Повторное открытие той же ссылки Директ не считает новым кликом, так что денег оно не стоит, но статистику портит: кто-то сохранил ссылку с меткой и прогоняет её скриптом. Если у адреса из первого списка в строке браузера библиотека или он не грузит ни картинок, ни стилей, вопрос закрыт.

Что можно сделать, а что нельзя

Сразу о главном: деньги списываются в момент клика. Если бот уже кликнул и дошёл до сайта, заблокировать его на сайте — значит не пустить дальше, но не вернуть деньги. Вернуть их может только Яндекс.

Что даёт остановка бота на сайте. Он не видит страницу, не отправляет форму, не создаёт ложных конверсий. Последнее важнее, чем кажется: автостратегии учатся на целях Метрики, и если цель «отправил заявку» выполняют программы, стратегия начинает искать ещё таких же. Как разорвать этот круг, разобрано в статье об автостратегиях и ботах.

Что даёт исключение адресов. В параметрах кампании есть поле «Запрещённые IP-адреса», до 25 адресов на кампанию. Это страховка от повторов с одной сети, а не защита: боты меняют адреса, и через неделю список устаревает. В исключения нельзя вносить адреса мобильных операторов — за ними сидят тысячи людей, и объявления перестанут видеть целые районы.

Что даёт исключение площадок. Площадки рекламной сети, с которых приходят боты, отключаются в настройках кампании. Это работает надёжнее списка адресов: площадка не меняет адрес каждые пять минут.

Что даёт обращение в поддержку. Если клики ботов шли сериями и у вас есть даты, адреса и метки кликов, их можно отправить в поддержку Директа. По метке поддержка находит конкретный клик. Решение о возврате всегда остаётся за Яндексом.

Как это устроено в BotBan

Переход с меткой yclid модуль BotBan отмечает как рекламный и проверяет по тем же правилам, что и всех остальных, — не строже. Ошибка на оплаченном клике живого человека дороже всего. Однажды мы на этом обожглись: покупатели, приходившие с рекламы в Яндекс Играх, получали лишнюю проверку браузера, потому что встроенный браузер игр шлёт необычные заголовки. Правило поправили так, чтобы этих людей не задевать.

Робот Директа YaDirectFetcher, который проверяет посадочные страницы, подтверждается по адресу и проходит всегда. На одном магазине напольных покрытий он делал около 10,8 тыс. запросов в сутки к тяжёлой странице, и хостинг отключал сайт за нагрузку. Блокировать его всё равно нельзя: Директ сочтёт сайт недоступным. Там помогло ускорение самой страницы.

В разделе «Реклама» кабинета видно, сколько кликов пришло, сколько из них боты, их адреса и причины. Выгрузка для поля «Запрещённые IP-адреса» собирает до 25 адресов, первыми — тех, кто кликал по рекламе. Отчёт для жалобы — таблица с временем по Москве, адресом, меткой клика, страницей, баллом и причиной блокировки. В него идут только блокировки: проверку человек проходит сам, и спорный визит ослабил бы обращение. С подключённой Метрикой страница «Бюджет на ботов» раскладывает клики ботов по кампаниям, фразам и площадкам и оценивает, сколько на них ушло.

Для масштаба: по 14 сайтам под защитой за месяц пришло 160,5 тыс. переходов с yclid, заблокировано из них 0,1 %, на проверку ушло 0,6 %. Основная масса рекламных переходов на этих сайтах — люди, а боты в рекламе встречаются точечно, по отдельным кампаниям и площадкам.

План на неделю

1. Проверьте, что в кампаниях включена разметка ссылок для Метрики и в адресах переходов есть yclid.
2. Сверьте за неделю три числа: клики в Директе, визиты с рекламы в Метрике и переходы с меткой в логе сервера.
3. В Метрике найдите площадки рекламной сети с отказами под сто процентов и отключите их.
4. Соберите из лога адреса, которые приходили по рекламе многократно и вели себя не как браузер. Исключите самые активные, кроме адресов мобильных операторов.
5. Остановите ботов на сайте, чтобы они перестали учить автостратегию.
6. Если клики ботов шли сериями, подготовьте обращение с датами, адресами и метками кликов.

В BotBan переходы с меткой, адреса для исключения и отчёт для обращения собираются сами, а ботов на сайте останавливает модуль. Что ещё сервис умеет для Директа, описано на странице защиты Яндекс Директа.