Автооткат больше не снимает защиту из-за роя без заголовков браузера

Автооткат — страховка от ошибки в правилах. Раз в минуту BotBan считает, какая доля посетителей сайта попала под блокировку. Если доля резко выросла, защита переходит в режим наблюдения: так одно неудачное правило не отрежет сайт от покупателей.

Вечером 19 октября страховка сработала трижды на трёх сайтах, и все три раза зря. На сайты пришёл рой ботов из Германии: сотни адресов, по одному запросу с каждого. У всех одна и та же обрезанная строка браузера, которая обрывается на «AppleWebKit/537.36». Заголовков языка и сжатия ни один не прислал. Движок блокировал их правильно, но адресов было много и все из разных сетей, и автооткат принял это за правило, задевшее людей.

Похожие рои автооткат и раньше не считал, но только когда бот выдавал себя за Chrome и при этом не присылал заголовков, которые Chrome отправляет всегда. Этот рой Chrome не изображал и проходил мимо исключения.

Что изменилось. Рой одинаковых строк браузера без заголовков Accept-Language и Accept-Encoding сразу теперь считается явным ботом. Любой настоящий браузер присылает оба заголовка. Мы проверили журнал за неделю: из 30 тысяч решений по живым посетителям ни одного без обоих заголовков сразу. Блокировок такого роя за ту же неделю было почти девятьсот.

Что это даёт:

• блокировки такого роя не идут в долю для автоотката, и волна ботов больше не выключает защиту;
• пропуск после проверки и кнопка «Я человек» такой рой не спасают;
• адреса такого роя попадают в список для файрвола, как и другие явные боты.

Если правило действительно заденет людей, автооткат сработает как раньше: у людей эти заголовки есть, и их блокировки считаются.

Обновлять модуль не нужно: изменение работает на стороне BotBan.