User-agent: *
Allow: /
# Медиа-остатки старого WordPress (например .mp4): робот пытается парсить их как
# страницы и ловит ошибку. Контента для поиска там нет — закрываем от обхода.
Disallow: /wp-content/

# 11.08.2026 — спам-адреса /prizes/<число>, /s/<мусор>.shtml и /?a=<число>.
# Их МНОГО (7 562 в отчёте Google против 980 наших страниц), и первым порывом было
# закрыть обход. НО ЭТО ОШИБКА, и вот почему: закрытый в robots адрес робот не
# сканирует — а значит НЕ ВИДИТ наш 410 и не выбрасывает страницу из индекса.
# Для /?a= то же самое: там стоит canonical на главную, и чтобы его прочитать,
# роботу нужно зайти. Проверено по отчёту: 410 стоит с 18.07 и работает —
# за три месяца спам дал 245 показов из 35 000, то есть уже почти вычищен.
# Правильное лечение здесь — 410 и canonical, а не запрет обхода. Не закрывать.

# Явно разрешаем ИИ-поисковикам цитировать нас
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /

# Яндексу отдельно: Clean-param склеивает адреса с метками в одну страницу.
# Без неё /cases/ и /cases/?utm_source=vk для него — две разные страницы
# с одинаковым содержимым. Директиву понимает ТОЛЬКО Яндекс, поэтому в блок
# User-agent: * её класть нельзя: остальные роботы её не разберут.
# audit — параметр калькулятора (/calculator-embed/?audit=0).
# otrasl/usluga — фильтры витрины кейсов: содержимое меняет JavaScript,
# сервер отдаёт один и тот же HTML, поэтому для поиска это дубли одной страницы.
# Посадочные под отрасли теперь живут на ЧПУ (/cases/proizvodstvo/).
User-agent: YandexBot
Allow: /
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content
Clean-param: yclid&gclid&ysclid&fbclid&from&openstat
Clean-param: audit
Clean-param: otrasl&usluga&group&niche&service
# s — внутренний поиск СТАРОГО WordPress-сайта. Наш поиск живёт на /poisk/?q=,
# а /?s=<что угодно> остался от переезда: отдаёт 200 с canonical на главную,
# поэтому дублей в индексе нет. Но робот всё равно ходит по этим адресам
# и тратит на них обход, а нагенерировать их можно бесконечно.
# Clean-param убирает сами заходы. Директиву понимает только Яндекс.
Clean-param: s

User-agent: Yandex
Allow: /
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content
Clean-param: yclid&gclid&ysclid&fbclid&from&openstat
Clean-param: audit
Clean-param: otrasl&usluga&group&niche&service
# s — внутренний поиск СТАРОГО WordPress-сайта. Наш поиск живёт на /poisk/?q=,
# а /?s=<что угодно> остался от переезда: отдаёт 200 с canonical на главную,
# поэтому дублей в индексе нет. Но робот всё равно ходит по этим адресам
# и тратит на них обход, а нагенерировать их можно бесконечно.
# Clean-param убирает сами заходы. Директиву понимает только Яндекс.
Clean-param: s

# Карта сайта для нейросетей (AEO)
# llms.txt: https://maximusmedia.pro/llms.txt

Sitemap: https://maximusmedia.pro/sitemap.xml