Проверка IP и User-Agent
Скопируйте адрес и строку User-Agent из логов сервера. Мы скажем, похоже ли это на бота, настоящий ли это поисковый робот и можно ли такой адрес блокировать.
Как это работает
Поисковые роботы проверяются обратным DNS. По адресу запрашивается имя, оно должно принадлежать зоне робота, а затем это имя резолвится обратно и должно дать исходный адрес. Подделать такое, не владея зоной, невозможно. Строке User-Agent верить нельзя: она подделывается одной строкой кода.
Общие адреса отмечаются отдельно. Операторы связи выпускают абонентов через общий выход: за одним внешним адресом могут работать тысячи телефонов. Такие адреса нельзя блокировать целиком — вы отключите сайт для района.
User-Agent разбирается на признаки. Библиотеки автоматизации, инструменты тестирования браузеров и подозрительно старые версии — всё это видно прямо в строке.
Частые вопросы
Адрес отмечен как общий — значит, это не бот?
Это значит, что за адресом стоят сотни или тысячи устройств, и среди них может быть кто угодно. Блокировать такой адрес целиком нельзя: вместе с ботом вы отключите от сайта живых людей. Ловить его нужно по поведению, а не по адресу.
User-Agent говорит «Googlebot», а проверка не подтверждает. Что это?
Подделка. Настоящие роботы Google, Яндекса и Bing приходят с адресов, которые проверяются обратным DNS. Если адрес не из их сети, строку User-Agent просто подставили — так делают парсеры, надеясь на снисхождение.
Можно ли по одному адресу решить, блокировать его или нет?
Нет, и мы не советуем. Один адрес — один запрос без истории. Решение о блокировке должно опираться на частоту, последовательность обхода и признаки браузера в совокупности. Инструмент показывает, на что смотреть, а не выносит приговор.
Где взять IP и User-Agent посетителя?
В логе веб-сервера: у nginx это access.log, у Apache — access_log. В каждой строке первым идёт адрес, а последним, в кавычках, — User-Agent. Если удобнее, вставьте несколько строк целиком в анализатор лога — он разберёт всё сразу.
Проверять каждый адрес вручную не нужно
BotBan делает это на каждом визите и показывает результат в журнале. Первую неделю — только показывает, ничего не блокируя.
Подключить бесплатноБез карты. 100 000 визитов в месяц бесплатно.