Новости проекта
Роботы по спискам и подписям, ловушка для краулеров, кнопка «Я человек» и отчёт за неделю
Большое обновление движка и кабинета: поддельный GPTBot теперь ловится как поддельный Googlebot, подписанные агенты проходят по ключу, краулеры попадаются на невидимую ссылку, а человек под подозрением может доказать, что он человек.
Мы сверили BotBan с тем, как работают крупные сервисы защиты от ботов, и закрыли главные пробелы, которые можно закрыть без своей CDN. Что изменилось.
Роботов проверяем по спискам и подписям
Раньше подтвердить робота мы умели только обратным DNS, а у OpenAI, Anthropic, Perplexity и DuckDuckGo его нет. Теперь ежедневно скачиваем опубликованные списки адресов Google, Bing, Apple, DuckDuckGo, OpenAI, Anthropic, Perplexity и Common Crawl. Робот из списка подтверждён, робот с чужого адреса под их именем — подделка, как поддельный Googlebot. Если список не скачался, робот остаётся «непроверяемым», как раньше: сбой никого не наказывает.
Вторая новинка — Web Bot Auth. Агенты OpenAI и Google подписывают запросы ключом, опубликованным у них на сайте; мы проверяем подпись и пропускаем агента, чей бы адрес ни был. Чужая подпись под известным именем — тяжёлая улика. В России, насколько мы знаем, этого пока не делает никто.
Честный Chrome шлёт Client Hints
Строку User-Agent подделать легко, а заголовки Sec-CH-UA Chrome ставит сам. Теперь Chrome без них или с другой версией и платформой получает довод против. Firefox, Safari и Chrome на iOS хинтов не шлют, к ним претензий нет.
Ловушка для краулеров
На странице появляется невидимая ссылка. Человек её не видит, робот, собирающий все ссылки подряд, переходит и выдаёт себя: первый переход — улика, второй — блокировка и общая память. Ссылку ставят наш скрипт и плагин WordPress; для чистого PHP-модуля есть строка для подвала в базе знаний. Честные поисковики в ловушку не попадают: путь закрыт в robots.txt, а сами они подтверждаются отдельно.
Скрипт видит подмену
Антидетект-браузеры переписывают функции браузера, подмешивают шум в canvas и рисуют окно, которого нет. Скрипт теперь замечает эти следы и сообщает движку. Каждый след по отдельности бывает и у честных расширений, поэтому один он ничего не решает.
«Я человек» и код события
На странице блокировки появились код события и кнопка «Я человек». Кнопка запускает проверку браузера: живой человек проходит её за секунду и открывает страницу, прямой запрет из чёрного списка так не обходится. Если заблокированный адрес прошёл проверку, владелец получает уведомление: это ранний признак правила, которое задело живого.
Отчёт за неделю и robots.txt для ИИ
По понедельникам приходит письмо: визиты, остановленные боты, страны и причины по каждому сайту, отражённые атаки. Отключается в настройках уведомлений. А под переключателем ИИ-краулеров в настройках защиты теперь лежит готовый блок для robots.txt: либо запрет всем известным роботам, либо только запрет обучения на ваших текстах с сохранением поиска. Закрытый краулер получает от модуля короткий ответ для робота, а не страницу для людей.
Отдельно на сайте появилась страница «Данные не покидают Россию»: что именно мы обрабатываем, где это лежит и почему подключение не создаёт трансграничной передачи.