Страница проверки строже к ботам: браузер под управлением программы пропуск не получает

Страница проверки — то, что модуль показывает сомнительному посетителю вместо сайта: браузер несколько секунд решает небольшую задачу и получает пропуск. Программа без браузера её не проходит вовсе. Но настоящий браузер, запущенный на сервере без окна, задачу решает так же, как браузер человека.

Мы посмотрели, кто проходит проверку на подключённых сайтах за неделю. Страница была показана около 1,4 млн раз, прошли её примерно 7 % показов. Из адресов, получивших пропуск, 70 % принадлежат хостингам и облакам, и лишь у единиц были признаки живого человека. Большую часть пропусков забирали рои безоконных браузеров из облачных сетей.

Что изменилось в модуле 1.4.13.

• Страница проверки ищет у браузера явные следы управления программой: флаг автоматизации, безоконный Chrome в строке браузера, следы PhantomJS, Nightmare и ChromeDriver. Если они есть, пропуск не выдаётся, а движок получает отдельную улику «браузер под управлением программы». Мягкие приметы вроде программной видеокарты или пустого списка языков мы намеренно не учитываем: они встречаются и у людей.
• Адресам хостингов и роям задача даётся тяжелее: работы в восемь раз больше. Одному компьютеру это всё ещё доли секунды, слабому телефону — несколько секунд, а рою из тысяч адресов — заметная цена. Человек на обычном домашнем или мобильном интернете получает прежнюю лёгкую задачу.
• Пропуск для адреса из сети хостинга действует 30 минут, а не сутки. Прошедший проверку бот больше не ходит по сайту целый день — через полчаса он снова встречает страницу проверки. Пропуск людей, как и раньше, действует сутки.
• Пропуск теперь содержит срок действия и привязан к адресу и браузеру. Пропуска старого формата модуль принимает до конца их срока, поэтому после обновления никого не попросят пройти проверку заново.

Что видно в отчётах. Счётчик страницы проверки отдельно считает отказы из-за следов автоматизации. Мы также следим, сколько прошедших проверку адресов потом выполнили скрипт BotBan на страницах сайта: это хороший способ отличить человека, который пошёл смотреть сайт дальше, от бота, которому нужна была одна страница.

Обновление. Модуль 1.4.13 обновится сам, как и предыдущие версии. Ничего настраивать не нужно.