Для производителя с большим каталогом это особенно критично.
Файл расположен в корне домена и содержит правила для роботов.
Яндекс поддерживает в нём User-agent, Disallow, Allow, Sitemap и Clean-param.
User-agent
Эта строка указывает, к какому роботу относятся правила.
User-agent: *
Звёздочка означает всех роботов, которые соблюдают эти правила.
При необходимости можно задавать отдельные группы для конкретных crawler'ов.
Disallow
Запрещает обход указанного пути.
Например:
Disallow: /admin/
Так поисковый робот не должен обходить административный раздел.
Особенно внимательно нужно проверять правило:
Disallow: /
Оно запрещает обход всего сайта для выбранного user-agent.
Allow
Позволяет открыть отдельный путь внутри более широкого запрета.
Используется, когда нужно точнее настроить доступ.
Перед использованием сложных сочетаний Allow и Disallow проверьте, какие конкретные URL должны оставаться доступными роботу.
Sitemap
Указывает адрес карты сайта.
Например:
Sitemap: https://site.ru/sitemap.xml
Директива указывает поисковому роботу адрес карты сайта.
Clean-param
Директива Яндекса помогает сообщить роботу, что определённые GET-параметры не меняют существенное содержание страницы и их не нужно учитывать как отдельные адреса.
Это может быть полезно для каталогов с параметрами, но применять её нужно только после анализа конкретной структуры URL.
Пример для сайта производителя
Ниже условный пример, его нельзя копировать без адаптации:
User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /cart/
Disallow: /personal/
Sitemap: https://site.ru/sitemap.xml
Если у каталога есть фильтры, параметры и служебные разделы, правила будут сложнее.
Не закрывайте фильтры автоматически.
Часть из них может специально использоваться как SEO-посадочные.
Ошибка 1. После переноса закрыли весь сайт
Разработчики часто закрывают тестовую версию от поисковиков.
После запуска правило случайно переносится на основной домен.
Если правило Disallow: / относится к основному user-agent, важные страницы могут стать недоступны для обхода.
После каждого крупного релиза проверяйте robots.txt.
Ошибка 2. Закрыли важные CSS и JavaScript
Современные поисковые системы могут использовать ресурсы страницы для корректного понимания и рендеринга.
Не нужно механически закрывать все папки со скриптами и стилями.
Проверяйте, какие файлы действительно служебные.
Ошибка 3. Используют robots.txt как noindex
Это разные вещи.
Google прямо указывает: robots.txt управляет обходом, но не является надёжным способом запретить появление HTML-страницы в поиске.
Для запрета индексирования используется noindex, при этом робот должен иметь возможность увидеть соответствующий тег.
Если одновременно закрыть URL через robots.txt и поставить noindex, Googlebot может не увидеть noindex, потому что ему запрещён обход.
Ошибка 4. Закрыли полезные фильтры
На производственном сайте часть фильтров может соответствовать реальному спросу.
Например, категория по материалу, размеру или назначению может быть отдельной посадочной страницей.
Если закрыть все параметры одним правилом без анализа, можно лишить робота доступа к полезным страницам.
Сначала определите, какие фильтры должны участвовать в поиске.
Ошибка 5. Файл давно никто не проверял
Сайт и его структура со временем меняются: появляются новые каталоги, удаляются старые разделы и меняется CMS. Поэтому robots.txt нужно пересматривать после заметных изменений архитектуры.
Как проверить в Яндекс Вебмастере
Добавьте сайт и подтвердите права.
После изменения robots.txt проверьте, как Яндекс видит файл и доступны ли нужные URL.
Отдельно контролируйте разделы индексирования и диагностики.
Сам Яндекс рекомендует проверять корректность robots.txt и указывает требования к месту размещения и ответу сервера.
Что смотреть после правки
После изменения проверьте не только содержимое файла, но и обход сайта, индексирование, технические ошибки и доступность важных категорий.
Если менялись правила для большого каталога, контролируйте соответствующий сегмент URL отдельно.
Что делать, если страницы уже выпали
Сначала устраните запрет.
Затем убедитесь, что URL отдаёт корректный ответ, не содержит noindex и имеет правильный canonical.
Проверьте внутренние ссылки и sitemap.
После этого дождитесь повторного обхода.
Не создавайте новую копию страницы только потому, что старая временно выпала из поиска.
Условный пример
После запуска новой версии сайта производитель замечает, что новые категории не появляются в поиске.
В robots.txt остался запрет на папку /catalog/, который использовался на тестовой версии.
В такой ситуации сначала нужно восстановить доступ поискового робота к каталогу.
Сначала нужно открыть каталог роботу и проверить остальные технические настройки.
Поэтому при SEO-аудите техническую доступность страниц проверяют до работы с контентом и позициями.
Частые вопросы
Нужно ли создавать robots.txt на каждом сайте?
Для управляемого обхода он полезен практически любому полноценному сайту. Состав зависит от структуры.
Можно ли закрыть страницу от поиска через Disallow?
Для Google robots.txt не предназначен как надёжный механизм исключения HTML-страницы из индекса. Для этого используется noindex или ограничение доступа.
Нужно ли закрывать все URL с параметрами?
Нет. Сначала определите, создают ли они дубли или являются полезными посадочными.
Как часто проверять файл?
После редизайна, переезда, смены CMS, крупных изменений каталога и других технических работ.
