Что такое мета-тег robots

Мета-тег robots — это HTML-элемент, который размещается в разделе <head> страницы и содержит инструкции для поисковых роботов о том, как следует индексировать контент конкретной страницы. В отличие от файла robots.txt, действие которого может распространяться на весь сайт или целые разделы, meta robots позволяет управлять поведением поисковых ботов на отдельной странице.

Синтаксис и основные директивы

Стандартный формат мета-тега выглядит следующим образом:

<meta name="robots" content="директива1, директива2">

Основные директивы:

  • index — разрешить индексацию страницы;
  • noindex — запретить добавление страницы в поисковый индекс;
  • follow — разрешить переходить по ссылкам на странице;
  • nofollow — запретить переходы по ссылкам, не передавать ссылочный вес.

Примеры использования:

  1. <!-- Запретить индексацию, но разрешить переходы по ссылкам -->

    2. <meta name="robots" content="noindex, follow">

  2. <!-- Запрет на индексацию и переходы -->

    3. <meta name="robots" content="noindex, nofollow">

  3. <!-- Разрешить индексацию и переходы (можно не указывать) -->

<meta name="robots" content="index, follow">

Помните: если мета-тег не указан, поисковые системы по умолчанию применяют правила index, follow.

Директивы для конкретных роботов:

  1. <!-- Только для Google -->

    2. <meta name="googlebot" content="noindex">

  2. <!-- Только для Яндекса -->

<meta name="yandex" content="nofollow">

Дополнительные директивы:

  • nosnippet — не показывать определенный фрагмент страницы в выдаче;
  • noimageindex — не индексировать изображения на странице;
  • notranslate — не предлагать в результатах поиска перевод страницы.

Дополнительно о директивах вы можете прочитать в справке Google.

В каких случаях используется мета-тег robots

  1. Технические и служебные страницы:
    • страницы авторизации и регистрации;
    • личные кабинеты пользователей;
    • страницы корзины и оформления заказа;
    • страницы благодарности после отправки форм и т.д.
  2. Дублированный контент:
    • версии страниц для печати;
    • страницы сортировки и фильтрации;
    • результаты внутреннего поиска и т.д.

    Предпочтительнее закрывать такие страницы от сканирования в robots.txt в массовом порядке — это проще, быстрее и экономит краулинговый бюджет. Мета-тег robots больше подходит для частных случаев, например, большая часть страниц фильтрации открыта для участия в поиске, только некоторые страницы выборочно закрываются от индекса meta name robots.

  3. Малоценный контент:
    • пустые страницы категорий без товаров;
    • страницы на этапе разработки;
    • тестовые разделы и т.д.

Отличие от robots.txt

Многие путают мета-тег robots с запрещающей директивой disallow файла robots.txt, хотя эти инструменты решают разные задачи.

robots.txt управляет сканированием, запрещая роботам переходить на страницы. Запрет на сканирование не гарантирует исключение из индекса — при наличии внешних ссылок с описательными анкорами страница может быть проиндексирована. В то время как мета-тег robots контролирует индексирование и гарантирует исключение страницы из поиска.

Робот проверяет robots.txt до перехода на страницу. Вместе с тем, чтобы обнаружить мета-тег robots, робот должен зайти на страницу и изучить ее содержимое, на загрузку которого затрачиваются ресурсы сервера.

Внимание: если страница закрыта в robots.txt, поисковый робот не сможет обнаружить мета-тег robots, поэтому мета-тег будет проигнорирован.


Частые ошибки при использовании

  1. Неправильно: в robots.txt прописана директива Disallow: /private/, на странице /private/page.html размещен <meta name="robots" content="noindex">.

    2. В этой ситуации robots.txt запрещает роботу зайти на страницу, поэтому он никогда не обнаружит мета-тег robots с директивой noindex. Если на страницу есть внешние ссылки, она может быть проиндексирована.

    Правильно: убираем/переписываем запрещающую страницу в robots.txt и используем только мета-тег <meta name="robots" content="noindex, nofollow">.

  2. Еще одна ошибка: в редких случаях по невнимательности вместо того, чтобы закрыть страницы от индексирования одним поисковым роботом, страницы закрываются для всех ботов, что приводит к исключению страниц из индекса обеих поисковых систем.

Рекомендации по внедрению

  1. Ведите мониторинг индексации: после внедрения мета-тега регулярно проверяйте динамику исключения страниц из индекса в Google Search Console и Яндекс Вебмастер.
  2. Начинайте постепенно: не закрывайте сразу много страниц.
  3. Ведите учет изменений: документируйте, что и когда закрывали.
  4. Мониторьте трафик: следите за изменениями в органическом трафике.

Заключение

Мета-тег robots — это мощный инструмент точного контроля над индексацией отдельных страниц сайта. Правильное использование директив noindex и nofollow помогает исключить из поиска ненужные страницы, предотвратить индексацию дублированного контента, управлять распределением ссылочного веса.