Краулинговый бюджет

Как это работает

Робот не обходит весь сайт целиком при каждом визите. Он выделяет лимит — сколько страниц скачать за сессию. Лимит зависит от авторитета сайта, скорости ответа сервера и того, как часто обновляется контент. Быстрый и чистый сайт робот обходит глубже и чаще, медленный и захламлённый — реже и поверхностно.

Проблема возникает, когда сайт генерирует тысячи технических URL: страницы фильтров, сортировок, пагинации, версии для печати, дубли карточек. Робот честно перебирает этот мусор, тратит лимит и уходит, не добравшись до новых карточек. Управление бюджетом — это убрать лишнее из обхода, чтобы лимит уходил на страницы, которые приводят клиентов.

Зачем это производственной компании

Краулинговый бюджет — головная боль именно больших каталогов, а у заводов каталоги большие. Возьмём производителя электрощитового оборудования: 3000 карточек, у каждой фильтры по току, напряжению, степени защиты. Комбинаций фильтров — сотни тысяч URL. Робот вязнет в них, а новые позиции ждут индексации неделями.

Особенно больно это перед сезоном или тендером, когда нужно быстро вывести в поиск новую партию номенклатуры. Если бюджет уходит на мусор, свежая карточка «автомат ВА47-29 63А» не появится в выдаче к моменту, когда закупщик её ищет. Наведёте порядок с бюджетом — новые позиции индексируются за дни, а не за месяц, и вы успеваете показать товар до того, как спрос перетечёт к конкуренту.

Как навести порядок

• Закрыть мусор. Фильтры, сортировки, параметрические URL — в robots.txt и через canonical. Это первое, что съедает бюджет.
• Ускорить сервер. Чем быстрее отвечают страницы, тем больше их робот успевает обойти за сессию. Медленный сайт получает меньший лимит.
• Убрать битые ссылки и цепочки редиректов. Каждый 404 и лишний редирект — это потраченный впустую заход робота.
• Держать чистый sitemap. Карта из живых нужных URL направляет робота к важным страницам напрямую.