Для магазинов, у которых копируют каталог и цены
Защита сайта от парсинга
Конкуренты и агрегаторы выкачивают ваш каталог и цены программами. BotBan замечает обход страницу за страницей и останавливает парсер до того, как сайт соберёт страницу, а покупатели листают каталог как обычно.
- 7 дней бесплатно
- Без капчи для людей
- Подключим за вас — бесплатно
30 180 536
запросов проверено
5 310 583
ботов заблокировано
17,6 %
доля заблокированных запросов
- До сборки страницы Решение за миллисекунды, бот не трогает сайт
- Один признак не блокирует Самый тяжёлый весит 45, порог — 70
- Без капчи для людей Человек проходит и ничего не замечает
- Сначала наблюдение Блокировку включаете вы, когда готовы
Простыми словами
Как это работает без технических слов
Покупатель смотрит пару товаров и уходит думать. Парсер — программа конкурента — обходит весь каталог подряд и копирует цены и описания. BotBan замечает такой обход и останавливает его, а покупатели листают каталог как обычно.
- Парсер — программа, которая копирует ваш каталог
- Сервер перестаёт работать на чужие программы
- Покупатели ничего не замечают
Без защиты
Что происходит без защиты
Парсер отличается от покупателя не тем, что он смотрит, а тем, как. Человек открывает несколько товаров и уходит думать. Программа обходит каталог подряд, страницу за страницей, не трогая ни картинок, ни стилей.
Цены конкурента всегда чуть ниже
Автоматический мониторинг цен позволяет конкуренту подстраиваться под вас в тот же день. Вы делаете работу по ценообразованию, а выигрывает тот, кто её у вас списывает.
Каталог уезжает целиком
Описания, характеристики и фотографии, в которые вложены месяцы работы, оказываются на чужом сайте. Поисковик при этом может посчитать первоисточником не вас.
Сервер под нагрузкой без выручки
Обход каталога в несколько потоков даёт нагрузку, сравнимую с распродажей, — только без единого заказа.
Не хотите разбираться? Подключим защиту за вас
Специалист сам поставит модуль на сайт, проверит, что всё открывается как раньше, и настроит защиту. Без программиста и без доплат.
Зарегистрироваться и оставить заявку- 01Регистрация Почта и пароль — меньше минуты, без привязки карты.
- 02Заявка на подключение Адрес сайта и доступ к хостингу — в защищённом поле.
- 03Защита работает Обычно в течение нескольких часов. Журнал ботов — в кабинете.
Как это работает
-
1
Считаем частоту, а не факт визита
Наказывать за просмотр каталога нельзя — им занимаются покупатели. Мы смотрим на темп: сколько страниц в минуту и в час, и как они идут друг за другом.
-
2
Отдаём проверку, а не отказ
В спорном случае посетитель получает проверку браузера. Человек проходит её за долю секунды, а парсер на ней останавливается: решать задачу на каждой из тысяч страниц ему невыгодно.
-
3
Мягкие меры вместо отказа
Если блокировать не хочется, можно замедлять ответ, отдавать пустую страницу или перенаправлять запрос. Парсер тратит время впустую и не сразу понимает, что его вычислили.
На что смотрит защита Для технического специалиста
При стандартных настройках один признак не блокирует: самый тяжёлый весит 45 из 100, а порог блокировки — 70.
- последовательный обход страниц каталога и пагинации
- десятки и сотни запросов в минуту с одного адреса
- загрузка только HTML: ни стилей, ни картинок, ни шрифтов
- отсутствие Referer при переходах вглубь каталога
- библиотека вместо браузера в User-Agent
- адрес из хостинга или облака, а не из сети домашнего провайдера
Что вы увидите в кабинете
Не «заблокировано 403», а объяснение по каждому визиту: балл, сработавшие признаки и что защита сделала. Любое решение можно оспорить одной кнопкой.
- Откуда идут запросы: страны и доля ботов по каждой
- Какие адреса каталога выкачивают чаще всего
- Список адресов для файрвола и nginx
Без защиты и с BotBan
Без защиты
- Каталог и цены уходят конкуренту за ночь
- Сервер под нагрузкой без выручки
- Парсер на прокси неотличим от десятков людей
С BotBan
- Парсер получает отказ до сборки страницы
- Серия запросов с одной сети видна и останавливается
- Адреса уходят в файрвол и отсекаются до запуска PHP
Посмотрите, кто выкачивает ваш каталог
7 дней наблюдения бесплатно и без привязки карты. Пока вы не решите, мы никого не блокируем — только показываем, кто ходит по сайту.
Подключение за два шага
Добавьте сайт в кабинете, поставьте модуль или скрипт — и защита начнёт наблюдать. Блокировку включаете вы, когда убедитесь, что в списке нет ваших посетителей.
Одна строка в начале сайта
PHP-модуль без зависимостей или скрипт в секцию head — есть готовые инструкции под WordPress, Битрикс, Tilda и другие системы.
Показать код для программиста
<?php
if (is_file(__DIR__ . '/botban/botban.php')) {
try {
require_once __DIR__ . '/botban/botban.php';
BotBan::protect('bb_pk_...', 'bb_sk_...');
} catch (\Throwable $e) {
// Сбой модуля — сайт работает без защиты.
}
}Не хотите разбираться — подключим бесплатно за вас.
Наблюдение, затем блокировка
- Первые дни защита только считает и показывает, кого заблокировала бы.
- Вы смотрите журнал: признаки, баллы, страны, адреса — и убеждаетесь, что людей в списке нет.
- Включаете блокировку одной кнопкой. Если правило начнёт задевать живых, защита выключится сама.
BotBan уже проверил 30 180 536 запросов и остановил 5 310 583. Статистика и кейсы
Что говорят владельцы сайтов
Публикуем только проверенные отзывы реальных пользователей.
Частые вопросы
Поможет ли robots.txt защитить каталог от парсинга?
Нет. robots.txt — это просьба, а не запрет: его соблюдают поисковые роботы, потому что заинтересованы в хороших отношениях с сайтами. Парсер, написанный для выкачивания вашего каталога, этот файл проигнорирует, а заодно прочитает его как подсказку, где лежит самое ценное.
А если парсер работает через настоящий браузер?
Такие есть, и они дороже в эксплуатации. Именно поэтому проверка браузера построена на задаче, требующей процессорного времени: одна страница обходится в доли секунды, а обход каталога из десятков тысяч страниц становится ощутимо дорогим. Плюс безоконный браузер выдаёт себя признаками, которые видит наш скрипт изнутри страницы.
Не пострадает ли индексация каталога?
Нет. Поисковые роботы подтверждаются обратным DNS и проходят всегда, причём независимо от частоты: обход каталога — их прямая работа.
Как это выглядело на реальных сайтах
Разборы по теме в блоге
- Защита от парсинга цен: что работает в интернет-магазине, а что только мешает покупателям Цены видит каждый покупатель, значит, их может увидеть и программа. Закрыть их полностью нельзя, а сделать парсинг дорогим можно. Разбираем, какие меры для этого работают, а какие отпугивают покупателей и поисковики сильнее, чем парсер.
- Защита интернет-магазина от ботов: что настроить в первую очередь У магазина больше уязвимых мест, чем у обычного сайта, и больше того, что нельзя ломать. Порядок настройки — шаг за шагом.
- Как обнаружить парсер на сайте Где именно парсер выдаёт себя и какими командами найти его в логах — укладывается в пять минут.