Файл robots.txt выглядит как небольшая техническая мелочь, но одна строка в нём может закрыть поисковому роботу доступ к важным разделам сайта или ко всему сайту сразу. Для производителя с большим каталогом это особенно критично. Ниже разберём, что делает robots.txt, какие в нём директивы, как создать и проверить файл и какие ошибки встречаются чаще всего.
Что такое robots.txt и где он находится
Robots.txt это текстовый файл с правилами для поисковых роботов: какие разделы сайта можно обходить, а какие нет. Файл robots.txt всегда находится в корне домена и открывается по адресу вида https://site.ru/robots.txt. Робот запрашивает его первым, ещё до обхода страниц.
Правила действуют только для того адреса, где лежит файл. У http и https, у домена с www и без него, у каждого поддомена robots.txt свой. Если сайт переехал на https, файл должен отвечать именно там.
Стандарт появился в 1994 году, а в 2022 году его закрепили как официальную спецификацию интернета RFC 9309. Яндекс и Google его соблюдают, хотя у каждого есть свои дополнения.
Зачем он нужен
Robots.txt нужен, чтобы робот тратил время на полезные страницы, а не на служебные. У поисковика ограниченный ресурс на обход каждого сайта, и если он уходит на корзину, поиск по сайту, личный кабинет и тысячи адресов с параметрами, до новых карточек каталога очередь доходит позже.
«Файл robots.txt сообщает поисковым роботам, к каким URL на Вашем сайте они могут получить доступ. Он используется в основном для того, чтобы не перегружать сайт запросами, и не является механизмом, позволяющим исключить страницу из Google».
Отсюда главное правило: robots.txt управляет обходом, а не индексацией. Чтобы страница не попала в поиск, нужен другой инструмент, об этом ниже в разделе про ошибки. Как устроен сам индекс, разобрали в материале Поисковый индекс.
Директивы robots.txt
Директивы файла robots.txt это команды, из которых он состоит. Основных пять:
| Директива | Что делает | Кто понимает |
|---|---|---|
| User-agent | Указывает, к какому роботу относятся правила ниже. Звёздочка означает всех | Все |
| Disallow | Запрещает обход указанного пути | Все |
| Allow | Открывает путь внутри более широкого запрета | Все крупные поисковики |
| Sitemap | Указывает адрес карты сайта | Все крупные поисковики |
| Clean-param | Говорит, что параметры в адресе не меняют содержимое страницы | Только Яндекс |
Старые директивы Host и Crawl-delay Яндекс перестал учитывать в 2018 году: главное зеркало теперь задают перенаправлением 301, а скорость обхода настраивают в Вебмастере. Если они остались в файле, вреда нет, но и пользы тоже.
User-agent: *Disallow: /admin/Allow: /admin/docs/Sitemap: https://site.ru/sitemap.xml
Здесь всем роботам закрыт административный раздел, кроме папки с документами, и указана карта сайта. Особенно внимательно проверяйте строку «Disallow: /»: она закрывает от обхода весь сайт. Как собрать саму карту сайта, разобрали в статье Карта сайта (sitemap.xml): зачем нужна и как создать.
Как создать файл robots.txt для сайта
Создать файл robots.txt можно в любом текстовом редакторе. Требования простые: имя строго robots.txt маленькими буквами, кодировка UTF-8, файл один на домен и лежит в корне сайта.
- Составьте список того, что закрывать. Служебные разделы: админка, корзина, личный кабинет, поиск по сайту, страницы сортировки.
- Решите, что обязательно открыть. Каталог, карточки, статьи, стили и скрипты, без которых робот не увидит страницу правильно.
- Напишите правила и добавьте строку Sitemap с адресом карты сайта.
- Загрузите файл в корень сайта через файловый менеджер хостинга или FTP.
- Проверьте, что по адресу /robots.txt файл открывается с ответом 200.
Во многих CMS добавить robots.txt можно без доступа к серверу. В 1С-Битрикс есть встроенная настройка файла в модуле поисковой оптимизации, в WordPress его генерируют SEO-плагины, конструкторы вроде Тильды создают файл автоматически. Редактировать robots.txt в этом случае нужно там же, в настройках CMS, иначе правка на сервере может затереться при следующем обновлении.
Robots.txt для сайта: создать онлайн
Создать файл robots.txt для сайта онлайн можно в бесплатных генераторах: отмечаете, какие разделы закрыть, и получаете готовый текст. Для простого сайта-визитки этого достаточно.
Для каталога производителя генератор опасен: он не знает Вашу структуру адресов. Типичный результат это закрытые фильтры, по которым на самом деле ищут продукцию, или открытые дубли с параметрами. Используйте генератор как черновик, а итоговый файл сверяйте с реальными адресами сайта.
Правильный robots.txt: пример для сайта производителя
Ниже условный пример файла robots.txt, его нельзя копировать без адаптации под свои адреса:
User-agent: *Disallow: /admin/Disallow: /search/Disallow: /cart/Disallow: /personal/Disallow: /*?sort=Sitemap: https://site.ru/sitemap.xmlUser-agent: YandexClean-param: utm_source&utm_medium&utm_campaign
Закрыты служебные разделы и сортировка, Яндексу отдельно сказано не считать метки рекламы разными страницами. Clean-param кладут в отдельный блок для Яндекса: остальные роботы эту директиву не понимают.
Если у каталога есть фильтры, правила будут сложнее. Не закрывайте фильтры автоматически: часть из них может специально использоваться как посадочные страницы под спрос, например «сотовый поликарбонат 8 мм».
Ошибки в robots.txt
Ошибки robots.txt редко видны сразу: сайт работает, но страницы постепенно пропадают из поиска или не попадают в него.
Ошибка 1. После переноса закрыли весь сайт
Разработчики часто закрывают тестовую версию от поисковиков правилом «Disallow: /». После запуска файл случайно переносится на основной домен, и важные страницы становятся недоступны для обхода. После каждого крупного релиза проверяйте robots.txt первым делом.
Ошибка 2. Закрыли стили и скрипты
Поисковые системы используют файлы стилей и скриптов, чтобы увидеть страницу так, как её видит человек. Если закрыть их механически, робот может решить, что страница сломана или не адаптирована под телефон.
Ошибка 3. Используют robots.txt вместо noindex
Это разные инструменты. Для запрета индексирования используют тег noindex, при этом робот должен иметь возможность зайти и увидеть этот тег. Если одновременно закрыть адрес в robots.txt и поставить noindex, робот не увидит noindex, потому что ему запрещён вход.
Типичная ситуация: в отчёте поисковика у сайта появляются тысячи мусорных адресов, например после взлома чужого скрипта или атаки спамеров. Первый порыв закрыть их в robots.txt. Но если на этих адресах стоит ответ 410 «удалено навсегда», роботу нужно зайти, чтобы его увидеть и убрать страницы из индекса. Поэтому такие адреса оставляют открытыми: запрет обхода только законсервировал бы проблему.
Ошибка 4. Закрыли полезные фильтры
На производственном сайте часть фильтров соответствует реальному спросу: категория по материалу, размеру или назначению может быть отдельной посадочной. Если закрыть все параметры одним правилом, робот лишится доступа к полезным страницам. Сначала определите, какие фильтры должны участвовать в поиске.
Ошибка 5. Файл давно никто не проверял
Сайт меняется: появляются новые разделы, удаляются старые, меняется CMS. Robots.txt нужно пересматривать после каждого заметного изменения структуры.
«Эти правила не являются формой авторизации доступа».
То есть robots.txt не защищает данные: закрытый в нём раздел открыт любому, кто знает адрес. Конфиденциальное прячут паролем, а не строкой Disallow.
Проверка файла robots.txt
Проверка файла robots.txt занимает пять минут и делается бесплатными инструментами:
- Яндекс Вебмастер: в инструментах есть анализ robots.txt, он показывает ошибки в синтаксисе и позволяет проверить, разрешён ли обход конкретных адресов.
- Google Search Console: отчёт о файле robots.txt в настройках показывает, какую версию файла видит Google и были ли ошибки при загрузке.
- Браузер: откройте адрес /robots.txt и убедитесь, что файл отдаётся и содержит то, что Вы ожидаете.
Проверьте ответ сервера: файл должен открываться с кодом 200. Если он отдаёт ошибку сервера, Google временно считает закрытым весь сайт. Google также читает только первые 500 КБ файла, всё, что ниже, игнорируется. Как пользоваться остальными отчётами Вебмастера, разобрали в статье Яндекс.Вебмастер: что проверять и как использовать.
Что делать, если страницы уже выпали
Сначала устраните запрет. Затем убедитесь, что адрес отдаёт корректный ответ, не содержит noindex и имеет правильный canonical. Проверьте внутренние ссылки и карту сайта, потом дождитесь повторного обхода или отправьте важные страницы на переобход в Вебмастере. Не создавайте новую копию страницы только потому, что старая временно выпала из поиска.
Условный пример: после запуска новой версии сайта производитель замечает, что новые категории не появляются в поиске. В robots.txt остался запрет на папку /catalog/ с тестовой версии. Сначала нужно открыть каталог роботу, потом проверить остальные технические настройки. Битые адреса, которые остались после переезда, ищут отдельно: об этом в статье Битые ссылки: как найти и устранить ошибки 404.
Поэтому при любом SEO-аудите техническую доступность страниц проверяют до работы с контентом и позициями. Если не уверены, что robots.txt и индексация настроены правильно, проверим это в рамках технического аудита сайта: найдём закрытые разделы, дубли и ошибки обхода. Начать можно с бесплатного разбора, а исправления возьмём в рамках технической проверки и настройки индексации.
