Интернет-магазин с обменом с 1С · 1 — 9 октября 2026
Краулер дал половину трафика, а обмен с 1С и задания по расписанию нужно было не задеть
Половина запросов — из одной ирландской сети. При этом сервер 1С и собственные скрипты сайта по всем признакам выглядели как программы — и ими являются.
- 297 тыс.
- запросов за 9 дней
- 151 тыс.
- из одной сети краулера в Ирландии
- 93,8 тыс.
- из них заблокировано
- 120 тыс.
- подтверждённые роботы пропущены
Что происходило
Магазин обменивается данными с 1С и запускает собственные задания по расписанию: обновление кэша каталога, выгрузка фидов. Для защиты это запросы без браузера, с частотой автомата — ровно то, что она должна останавливать.
Параллельно сайт обходил краулер одной из соцсетей с сети в Ирландии: 151 тыс. запросов за девять дней, половина всего трафика. Роботу разрешён обход в рамках бюджета, но он ходил и по ловушечным ссылкам — там его и останавливали.
Что сделала защита
- Адрес сервера 1С и адреса хостинга, с которых выполняются задания по расписанию, внесены в белый список сайта. Важно: в белый список идёт адрес, а не путь — иначе путь откроется всем.
- Краулер получает отказ на ловушечных ссылках и проходит по обычным страницам в пределах бюджета; в список для файрвола он не попадает, потому что сайт его в целом пускает.
- Один сбой обмена 1С разобрали по журналу: в момент ошибки запросов от 1С к сайту не было вовсе — проблема была внутри самой 1С, а не в защите.