Robots.txt: что это

Где находится robots.txt

Он всегда располагается в корневой директории сайта, то есть его можно найти по адресу:
https://example.com/robots.txt

Зачем нужен robots.txt

1. Ограничение доступа к отдельным страницам
   С его помощью можно закрыть от индексации технические разделы, личные кабинеты, страницы с повторяющимся содержимым, корзину интернет-магазина и другие непубличные зоны.
2. Экономия ресурса сканирования
   У поисковых систем есть ограниченный «бюджет обхода» (crawl budget) для каждого сайта. Если закрыть ненужные страницы, робот быстрее доберётся до важного контента.
3. Защита от лишнего трафика со стороны ботов
   Некоторые боты (не только поисковые) могут создавать нагрузку на сервер. С помощью robots.txt можно попытаться ограничить их доступ.

Как работает robots.txt

Файл состоит из инструкций для поисковых ботов. Основные команды:

• User-agent — указывает, к какому боту относится правило (например, User-agent: Googlebot)
• Disallow — запрещает доступ к определённому разделу или странице
• Allow — разрешает доступ (обычно используется вместе с Disallow)
• Sitemap — указывает путь к карте сайта

Пример:

User-agent: *

Disallow: /admin/

Allow: /admin/help.html

Sitemap: https://example.com/sitemap.xml

Здесь:

• * — правило применяется ко всем поисковым роботам
• /admin/ — закрыт весь раздел
• /admin/help.html — одна конкретная страница из закрытого раздела остаётся доступной
• указывается путь к файлу sitemap.xml

Важно помнить

• robots.txt — это рекомендация, а не запрет. Добросовестные поисковые системы его соблюдают, но вредоносные боты могут игнорировать.
• Этот файл не защищает данные от просмотра, он лишь «вежливо» просит роботов туда не заглядывать.
• Если нужно полностью скрыть страницу от всех, лучше использовать мета-тег noindex или ограничение доступа через HTTP-авторизацию.

Вывод

Robots.txt — это простой, но важный инструмент для управления видимостью сайта в поисковых системах. Он помогает улучшить SEO, оптимизировать загрузку сервера и контролировать, какие разделы сайта попадают в результаты поиска.