Robots.txt: зачем нужен и как настроить без ошибок
4 мая 20265 мин чтенияMaximus Media
Короткий ответRobots.txt — служебный файл в корне сайта, который подсказывает поисковым роботам, какие разделы обходить, а какие нет. Он закрывает от индексации технические и служебные страницы и указывает на карту сайта. Главная опасность: одна неверная строка может случайно закрыть весь сайт от поиска, поэтому после правок файл обязательно проверяют в Вебмастере.
Robots.txt — маленький файл с большими последствиями. Он управляет тем, что поисковик обходит на сайте. Настроен верно — помогает; ошибка в одной строке способна убрать весь сайт из поиска. Поэтому к нему относятся аккуратно.
Что он делает
Файл лежит в корне (site.ru/robots.txt) и даёт роботам инструкции: какие разделы можно обходить, какие не стоит. Обычно закрывают служебное — корзину, личный кабинет, страницы фильтров-дублей, админку. Заодно указывают путь к карте сайта.
Зачем он нужен
- Не пускает робота на технические и дублирующие страницы
- Экономит краулинговый бюджет — робот тратит его на важные страницы
- Указывает на sitemap.xml
Главная опасность
Строка Disallow: / закрывает от индексации весь сайт. Такое случается после переносов и доработок, когда с тестовой версии забывают убрать запрет. Сайт исчезает из поиска, а причину ищут неделями. Поэтому правило простое: после любой правки robots.txt проверяйте его в Яндекс.Вебмастере и не трогайте, если не уверены.
Как настроить
Для типовой CMS готовые шаблоны robots.txt уже есть, их немного адаптируют под сайт. Самодеятельность без понимания опаснее, чем стандартный файл. Если сомневаетесь — это тот случай, когда лучше отдать специалисту.
Не уверены, что ваш robots.txt не закрывает лишнего? Проверим при аудите — первый разбор бесплатно.
ДЛ
Дмитрий Ларионов
Основатель Maximus Media · системный маркетинг для производства
Частые вопросы
Что будет, если ошибиться в robots.txt?
Одна строка (Disallow: /) может закрыть весь сайт от индексации, и он выпадет из поиска. Поэтому после правок файл обязательно проверяют.
Обязателен ли robots.txt?
Желателен. Он экономит краулинговый бюджет, закрывает служебные страницы и указывает на карту сайта. Без него робот обходит и лишнее.
Что закрывать в robots.txt?
Служебное и дубли: корзину, личный кабинет, страницы фильтров, админку. Коммерческие и товарные страницы — оставлять открытыми.
Можно ли настроить robots.txt самому?
Для типовой CMS есть готовые шаблоны. Но правки без понимания рискованны — легко закрыть нужное. При сомнениях лучше к специалисту.
Разберём ваш случай бесплатно
Покажем, какие каналы дадут заявки именно в вашей нише — за 1–2 дня.
Подобрать решение за 1 мин
