User-Agent
Заголовок запроса, в котором клиент сообщает, кто он: браузер, робот или библиотека. Подделывается одной строкой кода.
Строка вроде Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) Chrome/131.0.0.0
или python-requests/2.31.0. Клиент присылает её сам.
Именно поэтому доверять ей нельзя ни в одну сторону.
Строка Googlebot в User-Agent не означает, что перед вами Google:
подделать её — вопрос одной строки кода, и приём этот стар как сам
интернет. Проверять принадлежность нужно обратным DNS.
Обратное тоже верно: python-requests в User-Agent не всегда враг.
Так ходят самописные интеграции, которые владелец сайта подключил сам
и забыл.
Полезен User-Agent другим: несоответствиями. Свежий Chrome, не приславший ни одного заголовка Sec-Fetch. Заявленный iPhone с отпечатком графики от Linux. Такие противоречия подделывающие обычно не замечают.
Что с этим делать
Страницы о защите от того, что описано выше: как это выглядит на сайте и что делает BotBan.
Смежные термины
Подробнее в блоге
- Проверка сайта на ботов: бесплатные инструменты и что они на самом деле показывают Метрика не видит тех, кто не выполняет скрипт, лог не отличает Chrome от программы, назвавшейся Chrome, а проверка адреса ничего не знает о запросе. Разбираем пять бесплатных способов проверить сайт на ботов и слепое пятно каждого.
- Хостинг пишет о превышении нагрузки: как понять, что это боты, и что делать Процессорное время на хостинге кончается не от покупателей. Разбираем, как по логам за десять минут понять, кто грузит сайт, и почему переход на тариф дороже обычно ничего не решает.
- Боты на сайте: зачем они приходят, как их увидеть и что делать Половина запросов к обычному сайту приходит не от людей, и это нормально. Ненормально другое: когда вы не знаете, кто эти «не люди». Разбираем по порядку, с цифрами.