Белые списки: кого защита не проверяет и как это настроить

Поисковые роботы

Включено по умолчанию. Яндекс, Google и другие проходят всегда — но только после проверки: обратным DNS или по опубликованному самим поисковиком списку адресов (Google, Bing, Apple, DuckDuckGo его публикуют, мы обновляем списки ежедневно). Тот, кто просто написал в User-Agent «Googlebot», проверку не пройдёт, и для него это, наоборот, станет сильным доводом против.

Выключать не стоит. Заблокированный поисковый робот означает, что страницы начнут выпадать из выдачи в течение нескольких недель, а вернуть позиции намного дольше, чем потерять.

Сервер самого сайта

Задания по расписанию, прогрев кэша, обращения CMS к самой себе приходят с адреса вашего же сервера. Мы узнаём его сами — по адресу, на который указывает домен, и по адресам, с которых модуль сайта обращается к нам, — и такие запросы пропускаем без проверки. В журнал, статистику и лимит тарифа они не попадают: сайт, обращающийся к самому себе, — не посетитель. Вносить адрес сервера в белый список не нужно. Исключение одно: поиск файлов с секретами (.env, .git) блокируется и с этого адреса — взломанный сосед по серверу не должен получать пропуск.

Файл /robots.txt отдаётся всем без проверки: робот, которому вместо него показали страницу проверки, не узнает ваших запретов.

Мониторинги и вебхуки

Включено по умолчанию. Сюда попадают уведомления об оплате от платёжных систем и сервисы контроля доступности. Заблокированный вебхук означает, что заказ оплачен, а вы об этом не узнали.

Краулеры соцсетей

Включено по умолчанию. Telegram, VK, WhatsApp тянут картинку и описание для превью ссылок. Если их заблокировать, ссылки на ваш сайт станут выглядеть как голый адрес.

Проверить их обратным DNS нельзя — они ходят из облаков. Поэтому им выдан бюджет запросов: настоящему краулеру его хватает с большим запасом, а парсер, прикрывшийся его именем, упрётся в потолок и дальше пойдёт по общим правилам. ИИ-краулеры OpenAI, Anthropic и Perplexity публикуют списки своих адресов — их мы проверяем по списку: робот с чужого адреса под их именем считается подделкой, как поддельный Googlebot.

Мобильный интернет и общие сети

Это не настройка, а свойство движка, которое нельзя отключить. Адреса операторского NAT — те, за которыми через одну точку выходят тысячи абонентов мобильной связи, — не блокируются жёстко никогда. Максимум, что им грозит, — проверка.

Иначе одна блокировка выключала бы сайт для целого города.

Ваши списки

Адреса и пути в белом списке проходят всегда, что бы движок ни думал. Пути поддерживают звёздочку в конце: /api/*.

Это удобно для вебхуков собственных систем и для адресов офиса.