Краулинговый бюджет
Сколько страниц робот готов обойти на сайте за период. У поисковиков он ограничен и тратится в том числе на мусорные адреса, которые плодят боты.
Поисковый робот не обходит сайт бесконечно: у каждого сайта есть лимит запросов, который зависит от скорости ответа, размера и качества сайта. Если бюджет уходит на бесконечные страницы фильтров, адреса с мусорными параметрами или страницы, которые отдаются медленно из-за нагрузки от ботов, до нужных страниц робот доходит реже.
Защита от ботов влияет на бюджет косвенно: сервер, который не тратит
процессор на программы, отвечает роботу быстрее; ловушечные ссылки,
на которых ловят парсеров, закрыты от роботов в robots.txt. Сами
подтверждённые роботы под проверку не попадают никогда.
Что с этим делать
Страницы о защите от того, что описано выше: как это выглядит на сайте и что делает BotBan.