Новости проекта
BotBan замечает фермы браузеров в облаке, даже когда каждый бот выглядит как человек
Ферма из сотен облачных машин с настоящим Chrome проходила по одному: заголовки безупречные, скрипт исполняется, мышь двигается. Теперь BotBan видит такие машины по сети: десятки адресов одного облака за час отправляются на проверку.
11 ноября у интернет-магазина одежды в Метрике подскочили визиты. Мы разобрали журнал: за сутки на сайт пришли 387 разных адресов DigitalOcean. У каждого был полный набор заголовков настоящего Chrome, скрипт страницы исполнялся, мышь «двигалась». Признак «адрес из сети хостинга» есть у каждого, но его гасила пометка «заголовки как у настоящего браузера», и боты проходили с баллом 5–15. Метрика честно посчитала их посетителями.
По одному такой бот действительно неотличим от человека за VPN. Отличает масштаб: человек за облачным VPN приходит один, а здесь за час пришли десятки разных машин одного провайдера. Теперь, если за час на сайт приходит 20 и больше разных адресов из одной сети хостинга, каждый следующий получает дополнительную улику. Этого хватает, чтобы облачный бот с безупречными заголовками дошёл до проверки браузера. Не до блокировки: человек за облачным VPN проходит проверку сам за секунду.
Сети частных ретрансляторов — iCloud Private Relay, Cloudflare WARP — не считаются: за ними обычные люди. Поисковые и прочие роботы из каталога тоже не считаются. Перед включением мы прогнали правило по журналу всех подключённых сайтов за двое суток. Признаки живого человека в таких облачных кучках нашлись только у самой фермы, которая их подделывает, и у одиночных адресов, до которых правило не дотягивается.
Ничего настраивать не нужно, правило работает на всех сайтах. Если какой-то ваш сервис ходит на сайт с десятков облачных адресов, добавьте их в белый список.