Обратный DNS с перепроверкой
Способ подтвердить, что адрес действительно принадлежит заявленному роботу: адрес → имя → обратно адрес.
Проверка в два шага, и оба обязательны.
Шаг первый. По адресу посетителя запрашивается его имя (запись PTR).
Настоящий Googlebot ответит именем в зоне googlebot.com или
google.com, YandexBot — в зонах yandex.ru, yandex.net,
yandex.com.
Шаг второй. Полученное имя резолвится обратно, и адрес должен совпасть с исходным.
Второй шаг нужен потому, что владелец адреса может прописать в PTR что
угодно, хоть googlebot.com. А вот заставить зону googlebot.com
указывать на свой адрес он не может — для этого нужно владеть зоной.
Проверка стоит одного запроса к DNS и кэшируется надолго: адреса роботов меняются редко.
Если робот заявлен, а проверка не сошлась — это не «не подтвердилось». Это активная попытка обмана и довод против посетителя.
Что с этим делать
Страницы о защите от того, что описано выше: как это выглядит на сайте и что делает BotBan.
Смежные термины
Подробнее в блоге
- Проверка сайта на ботов: бесплатные инструменты и что они на самом деле показывают Метрика не видит тех, кто не выполняет скрипт, лог не отличает Chrome от программы, назвавшейся Chrome, а проверка адреса ничего не знает о запросе. Разбираем пять бесплатных способов проверить сайт на ботов и слепое пятно каждого.
- Хостинг пишет о превышении нагрузки: как понять, что это боты, и что делать Процессорное время на хостинге кончается не от покупателей. Разбираем, как по логам за десять минут понять, кто грузит сайт, и почему переход на тариф дороже обычно ничего не решает.
- Один запрос под микроскопом: как сервис решает, бот перед ним или человек Что успевает произойти между «пришёл запрос» и «отдали страницу»: какие признаки смотрим, чему не верим и почему сомнение всегда в пользу посетителя.