Индексация сайта

Как работает индексация

Поисковый робот приходит на сайт, читает файл robots.txt и карту sitemap.xml, а затем идёт по внутренним ссылкам от страницы к странице. Каждую он загружает, отдаёт на обработку и решает: заносить в индекс или нет. На это решение влияют доступность страницы (не закрыта ли она от робота), её уникальность, скорость загрузки и то, есть ли на неё внутренние ссылки.

Ключевой момент, который путают чаще всего: сканирование и индексация — не одно и то же. Робот может зайти на страницу, но не добавить её в базу — например, если сочтёт содержимое дублем или малоценным. И наоборот: страница может быть в индексе, но робот давно на неё не заходил и не видел свежих правок. У каждого сайта есть краулинговый бюджет — лимит страниц, которые робот готов обойти за визит. Для большого каталога это критично.

Зачем это производственной компании

У завода или производителя оборудования каталог — это сотни и тысячи страниц: номенклатура, типоразмеры, фильтры, серии. Именно эти страницы приводят целевой трафик по узким запросам вроде «швеллер 16П гнутый ГОСТ» или «кабель ВВГнг 3х2,5 купить оптом». Если они не в индексе — их не существует для клиента, который ищет конкретную позицию.

Показательный случай из практики: у завода металлоконструкций в каталоге было около 4 200 страниц, а в индексе Яндекса — только 600. Три четверти номенклатуры поиск просто не видел. Причина — глубокая вложенность (до нужной страницы 5–6 кликов от главной) и генерация тысяч дублей через фильтры. После того как разгребли структуру и закрыли мусорные URL, в индекс дошло около 3 100 страниц, а трафик из поиска на каталог вырос примерно в 2,4 раза за четыре месяца — без единого рубля в рекламу, только за счёт того, что важные разделы стали видны роботу.

Типичные ошибки

• Важные разделы закрыты в robots.txt. Часто по недосмотру под запрет попадает весь каталог или папка с карточками товаров.
• Тысячи дублей от фильтров и сортировок. Каждая комбинация параметров плодит отдельный URL, робот тратит бюджет на мусор и не доходит до реальных страниц.
• Глубокая вложенность. Если до карточки товара 6 кликов от главной, робот туда почти не заходит.
• Нет карты sitemap.xml или она не обновляется. Новые позиции каталога месяцами ждут, пока их случайно найдут по ссылкам.
• Мета-тег noindex, забытый после разработки. Сайт переехал с тестового домена, а запрет на индексацию остался в коде.

Как это делаем в Maximus

Индексацию мы разбираем в рамках SEO-аудита. Сначала снимаем реальную картину: сколько страниц в индексе Яндекса и Google против того, сколько их физически на сайте, и где разрыв. Дальше проходим по цепочке — robots.txt, sitemap, коды ответов сервера, мета-теги, вложенность, дубли — и находим, что именно перекрывает роботу доступ к деньгам.

Результат аудита — не «отчёт ради отчёта», а конкретный список: какие разделы открыть, какие URL склеить или закрыть, как перестроить структуру каталога, чтобы важные страницы были в 2–3 кликах от главной. Для производственных сайтов с большой номенклатурой это обычно даёт самый быстрый прирост трафика: страницы уже написаны, нужно лишь показать их поисковику.