Файл robots.txt — это текстовый файл, который размещается на сайте и служит для управления действиями поисковых роботов. Проще говоря, он помогает владельцам сайтов сообщить поисковым системам (например, Google, Яндекс), какие страницы сайта можно индексировать, а какие — нет.
Он всегда располагается в корневой директории сайта, то есть его можно найти по адресу: https://example.com/robots.txt
Файл состоит из инструкций для поисковых ботов. Основные команды:
Пример:
User-agent: *
Disallow: /admin/
Allow: /admin/help.html
Sitemap: https://example.com/sitemap.xml
Здесь:
Robots.txt — это простой, но важный инструмент для управления видимостью сайта в поисковых системах. Он помогает улучшить SEO, оптимизировать загрузку сервера и контролировать, какие разделы сайта попадают в результаты поиска.
Last-Modified — это HTTP-заголовок, который сервер отправляет в ответ на запрос клиента (например, браузера), чтобы сообщить дату и время последнего изменения запрашиваемого ресурса (например, HTML-страницы, CSS-файла, изображения и т. д.).
Фильтр “Penguin” — это алгоритмическое обновление поисковой системы Google, целью которого является выявление и понижение в выдаче сайтов, использующих нечестные приёмы продвижения (спамные или «чёрные» SEO-тактики), в первую очередь связанных с покупкой или манипуляцией ссылочным профилем.
Core Web Vitals — это набор ключевых показателей от Google, которые оценивают реальный пользовательский опыт на веб-страницах по трём основным параметрам: скорости загрузки, интерактивности и визуальной стабильности. Показатели Core Web Vitals входят в общий сигнал «Page Experience», влияющий на ранжирование сайтов в результатах поиска Google Google for Developers.
Отказы (Bounce) и отказная сессия (Bounce Session) в веб-аналитике — это метрика, отражающая долю посещений, в ходе которых пользователь ушёл с сайта, не совершив ни одного взаимодействия, зафиксированного системой аналитики. Ниже подробно разберём, что это значит, как считается и зачем нужно учитывать.
Краулер (или паук) — это автоматическая программа или скрипт, который используется для обхода веб-страниц в интернете с целью сбора, индексации и обработки информации. Краулеры играют важную роль в поисковых системах и других сервисах, которые требуют сбора данных с множества сайтов.
Код ответа сервера — это числовой код, который веб-сервер отправляет в ответ на HTTP-запрос клиента (например, браузера или поискового робота).
Мы используем cookies для улучшения вашего опыта на сайте. Для продолжения, пожалуйста, примите нашу политику обработки cookies.
Маркетинговое агентство полного цикла
Маркетинговое агентство полного цикла