Краулер

Как это работает

Краулер начинает с известных ему адресов, скачивает страницы и переходит по найденным на них ссылкам, шаг за шагом обходя сайт. Собранные данные отправляются в индекс поисковой системы, откуда потом формируется выдача. Владелец сайта может влиять на обход: файл robots.txt подсказывает, что можно и что не стоит сканировать, XML-карта сайта помогает найти все важные страницы, а внутренняя перелинковка ведёт робота по структуре.

Зачем это бизнесу

Если краулер не может нормально обойти сайт, страницы не попадут в индекс и не будут показываться в поиске, а значит, не принесут трафик и заявки. Поэтому важно, чтобы структура была прозрачной, важные страницы не были закрыты по ошибке, а краулинговый бюджет не тратился на мусорные и дублирующиеся адреса. Управление обходом это часть технического SEO, от которой зависит видимость сайта.

Как не растратить лимит обхода

У каждого сайта есть свой лимит: сколько страниц робот готов обойти за визит. На большом каталоге он расходуется быстро, и до важных страниц робот может не дойти. Съедают лимит обычно три вещи: цепочки переадресаций, страницы фильтров с параметрами и мусорные адреса вроде результатов внутреннего поиска. Лечится это переадресацией в один шаг, директивой Clean-param для Яндекса и честной картой сайта, где только живые адреса.