Добавили новый товар или статью, а в поиске их нет неделями. Причина: страница ещё не проиндексирована: поисковик до неё не дошёл. Для каталога это прямые потери, ведь непроиндексированный товар не приносит заявок. Разберём, как ускорить процесс.
Что такое индексация
Поисковый робот обходит сайт, находит страницы и добавляет их в свою базу (индекс). Только после этого страница может показываться в выдаче. На новом или большом сайте робот доходит до всех страниц не сразу, отсюда задержка.
Как ускорить
- Карта сайта. Sitemap.xml показывает роботу все страницы разом
- Переобход в Вебмастере. В Яндекс.Вебмастере и Search Console можно вручную отправить новые страницы на индексацию
- Перелинковка. Ссылки с уже проиндексированных страниц ведут робота на новые
- Скорость и отсутствие ошибок. Быстрый сайт робот обходит полнее, экономя краулинговый бюджет
- Регулярное обновление. На живой сайт робот заходит чаще
Что мешает индексации
Иногда страницы не индексируются из-за ошибок: закрыты в robots.txt, помечены noindex, ведут через цепочку редиректов, или сайт слишком медленный. Если новые страницы упорно не попадают в индекс, первым делом проверяют эти причины.
Сколько ждать в норме
Сроки зависят от того, насколько живой у Вас сайт. На сайте, который обновляется каждую неделю, новая страница обычно попадает в индекс за несколько дней. На сайте, куда последний раз что-то добавляли полгода назад, робот заходит редко, и та же страница может ждать месяц.
Тревожный порог простой: если через две недели после публикации страницы нет в индексе, а Вы её отправляли на переобход, дело не в очереди, а в ошибке. Ищите причину, а не ждите дальше.
Пошагово: что нажать в Вебмастере
- Яндекс.Вебмастер, раздел «Индексирование» → «Переобход страниц». Вставляете адреса списком и отправляете. Лимит около 700 адресов в сутки на сайт, для точечных публикаций этого хватает с запасом.
- Google Search Console: «Проверка URL» → «Запросить индексирование». Тут по одному адресу, массовой отправки нет, поэтому вручную гоняют только важные страницы.
- Проверяете, что страница есть в карте сайта и что у неё свежая дата изменения. Робот смотрит на неё, чтобы решить, стоит ли перечитывать.
- Ставите на новую страницу хотя бы одну ссылку с той, которая уже в индексе. Со страницы без входящих ссылок робот уходит и возвращается нескоро.
Когда каталог большой
У сайта завода с тысячами товаров задача разворачивается: проблема не в скорости обхода, а в том, что робот тратит его не на те страницы. Он ходит по бесконечным комбинациям фильтров и сортировок, пока карточки товара ждут очереди.
Что помогает: закрыть от обхода страницы фильтров и сортировок, оставив только те комбинации, под которые есть спрос; убрать битые ссылки и цепочки перенаправлений, на каждой из них робот теряет заход; разложить карту сайта на несколько файлов, отдельно каталог, отдельно блог. Тогда видно, какой раздел индексируется плохо, и не приходится гадать.
Как проверить, что страница действительно в индексе
Не по тому, что она открывается. Открывается она у всех. В Вебмастере есть отчёт «Страницы в поиске»: там видно и то, что вошло в индекс, и то, что робот исключил, с указанием причины. Причина важнее самого факта: «недостаточно качественная» и «дубль» лечатся совершенно по-разному.
Второй способ: поиск по точной фразе с Вашей страницы в кавычках. Если страница в индексе, она найдётся. Если нет, вернётся пусто.
Новые страницы долго не появляются в поиске? Найдём причину при аудите, первый разбор бесплатно.
