Парсер
Программа, которая обходит сайт и извлекает из страниц данные: цены, описания, характеристики, контакты.
Разница между парсером и покупателем не в том, какие страницы открыты, а в том, в каком порядке и с какой скоростью. Живой покупатель посмотрит пару-тройку товаров и закроет вкладку. Программа обходит каталог подряд, страницу за страницей, не трогая ни картинок, ни стилей.
Самое частое применение — мониторинг цен конкурентами. Второе по частоте — копирование каталога целиком на чужой сайт.
Заметить парсер в логах несложно: высокий темп, последовательные адреса
вида ?page=1, ?page=2, отсутствие сопутствующих запросов за
картинками и шрифтами, часто отсутствие заголовка Referer.
Сложнее отличить его от поискового робота, который ведёт себя похоже. Здесь помогает только проверка принадлежности адреса обратным DNS: настоящий робот резолвится в зону своего оператора.
Что с этим делать
Страницы о защите от того, что описано выше: как это выглядит на сайте и что делает BotBan.
Смежные термины
Подробнее в блоге
- Защита от парсинга цен: что работает в интернет-магазине, а что только мешает покупателям Цены видит каждый покупатель, значит, их может увидеть и программа. Закрыть их полностью нельзя, а сделать парсинг дорогим можно. Разбираем, какие меры для этого работают, а какие отпугивают покупателей и поисковики сильнее, чем парсер.
- Проверка сайта на ботов: бесплатные инструменты и что они на самом деле показывают Метрика не видит тех, кто не выполняет скрипт, лог не отличает Chrome от программы, назвавшейся Chrome, а проверка адреса ничего не знает о запросе. Разбираем пять бесплатных способов проверить сайт на ботов и слепое пятно каждого.
- Хостинг пишет о превышении нагрузки: как понять, что это боты, и что делать Процессорное время на хостинге кончается не от покупателей. Разбираем, как по логам за десять минут понять, кто грузит сайт, и почему переход на тариф дороже обычно ничего не решает.