robots.txt и sitemap.xml

Как это работает

robots.txt лежит в корне сайта и читается роботом первым. В нём директивами Disallow и Allow вы закрываете от обхода служебные разделы: корзину, личный кабинет, поиск по сайту, параметрические URL фильтров. Здесь же указывают путь к sitemap.xml.

sitemap.xml — это XML-список всех страниц, которые должны быть в индексе, с датой последнего изменения. Робот берёт карту, сверяет со своим представлением о сайте и достаёт то, что пропустил при обычном обходе по ссылкам. Для большого каталога карту генерируют автоматически и разбивают на несколько файлов, объединённых индексным sitemap. Так у робота всегда под рукой свежий и полный перечень товара, а не то, что он случайно нашёл, бродя по внутренним ссылкам.

Зачем это производственной компании

У завода с каталогом на тысячи позиций робот физически не успевает обойти всё за один заход. Если в robots.txt не закрыты фильтры и сортировки, он уходит перебирать десятки тысяч мусорных URL вроде «?sort=price&color=red», а до карточек реальной продукции не доходит. В итоге половина номенклатуры не в индексе — по ней вас не находят.

Пример: производитель крепежа держал открытыми все комбинации фильтров. Робот Яндекса неделями ходил по параметрам, а новые карточки ГОСТ-позиций попадали в поиск с задержкой в месяц-полтора. Закрыли параметры в robots.txt, собрали чистый sitemap только из карточек и категорий — новые позиции стали индексироваться за 3–5 дней.

Типичные ошибки

• Disallow на весь сайт после разработки. Классика: сайт запустили, а строка «Disallow: /», закрывавшая тестовую версию от индексации, осталась. Каталога нет в поиске месяцами.
• Карта с мусором и битыми URL. В sitemap попадают страницы с редиректами, 404 и закрытые в noindex. Робот теряет доверие к карте и обходит её реже.
• Карту собрали один раз. Каталог пополняется, а sitemap статичный. Новые карточки в карту не попадают и ждут обхода по ссылкам неделями.