Сообщение «Найдены страницы-дубли с GET-параметрами» в Яндекс.Вебмастере означает, что поисковый робот обнаружил несколько URL с одинаковым или очень похожим содержимым.

image4.png

Адреса таких страниц отличаются дополнительными параметрами после знака вопроса[c]. Например:

  • https://site.ru/catalog/
  • https://site.ru/catalog/?utm_source=vk

Для посетителя это может быть одна и та же страница, но для поискового робота перед ним два разных URL. Если URL-параметры не меняют полезное содержимое, они создают дубли страниц, что размывает вес и мешает продвижению в поиске

Что такое GET-параметры

GET-параметры представляют собой дополнительные данные, передаваемые в адресе страницы. Они располагаются после символа ?. Если параметров несколько, они обычно разделяются символом &.

Например:

https://site.ru/catalog/?sort=price&utm_source=vk

Здесь sort=price отвечает за сортировку, а utm_source=vk может использоваться для аналитики рекламного трафика.

GET-параметры появляются по разным причинам:

  • при сортировке товаров;
  • при использовании фильтров;
  • во внутреннем поиске;
  • при работе пагинации;
  • при добавлении UTM-меток;
  • при передаче идентификаторов и других технических данных.

Само наличие GET-параметров не является ошибкой. Проблема возникает, когда параметр создает новый URL, но содержимое страницы при этом фактически не меняется. Яндекс прямо указывает, что такие URL могут быть признаны дублями.

Чем дубли с GET-параметрами мешают SEO

Если одна страница доступна по большому количеству адресов, поисковому роботу приходится обходить лишние URL. На крупных интернет-магазинах и каталогах один раздел может таким образом создавать сотни или тысячи технических страниц.

В результате поисковой системе сложнее определить, какой URL считать основным. Увеличивается число обращений робота к сайту, а обход действительно важных страниц может занимать больше времени. Яндекс отмечает, что правильная настройка GET-параметров позволяет сократить количество обращений робота, снизить нагрузку на сайт и ускорить индексирование.

При этом не каждый URL с параметром нужно удалять из поиска. Некоторые параметры действительно меняют содержание страницы и могут формировать полезные посадочные страницы.

Например, URL фильтра:

/catalog/?color=white

может быть важен для продвижения, если по нему формируется полноценная страница категории «Белые футболки». Поэтому сначала нужно определить назначение параметра и только потом ограничивать его индексирование.

Как исправить «Найдены страницы-дубли с GET-параметрами»

Настроить GET-параметры в Яндекс.Вебмастере

Сейчас наиболее простой вариант для Яндекса — открыть:

Яндекс.Вебмастер → Индексирование → Настройка GET-параметров.

В этом разделе отображаются параметры, которые поисковый робот уже обнаружил на сайте. Для каждого из них можно определить, должен ли он учитываться при индексировании.

Логика настройки простая:

  • если параметр не влияет на содержание страницы, его можно не учитывать;
  • если параметр создает отдельную полезную страницу, его следует учитывать.

Например, utm_source, utm_medium и другие параметры аналитики обычно не меняют основной контент. А параметр фильтра каталога может быть значимым, если формирует отдельную SEO-страницу.

Для добавленных вручную параметров правило можно применять ко всему сайту, главной странице или отдельному разделу. По данным Яндекса, изменения настроек вступают в силу в течение недели.

Использовать Clean-param

Другой способ — директива Clean-param в файле robots.txt. Она сообщает роботу Яндекса, что определенный параметр не меняет содержание документа и его не нужно учитывать при формировании адреса страницы.

Например:

User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign

Такое правило подойдет, если UTM-метки могут появляться на разных страницах сайта, но не меняют их содержимое.

Яндекс рекомендует Clean-param для URL с незначимыми параметрами и указывает, что часть накопленных показателей таких адресов может быть передана основному URL.

Одновременно настраивать один и тот же параметр в Вебмастере и robots.txt без необходимости не стоит. Если правила будут противоречить друг другу, Яндекс применит вариант, запрещающий индексирование URL с параметром.

Указать canonical для страниц-дублей

Для Google и в целом для управления каноническими версиями страниц применяется атрибут rel="canonical".

Допустим, доступны два адреса:

https://site.ru/catalog/

https://site.ru/catalog/?sort=price

Если второй URL содержит тот же контент и не должен продвигаться отдельно, на странице с параметром можно указать:

<link rel="canonical" href="https://site.ru/catalog/;

Так поисковой системе передается сигнал, что основной версией документа является URL без параметра. Google рекомендует использовать rel="canonical" для обозначения предпочтительной страницы среди дублей.

Canonical особенно полезен, если сайт должен оставаться доступным пользователям по URL с параметрами, но эти адреса не требуется рассматривать как самостоятельные страницы в поиске.

Стоит ли закрывать GET-параметры через Disallow

Встречается рекомендация добавить в robots.txt правило, закрывающее сразу все адреса с вопросительным знаком. Использовать такой подход без анализа сайта опасно.

Например, вместе с ненужными UTM-метками можно случайно запретить обход полезных страниц фильтров, пагинации или других URL, содержимое которых действительно отличается.

Кроме того, Disallow запрещает роботу обходить страницу, но сам по себе не является способом канонизации. Google прямо предупреждает, что URL, запрещенный через robots.txt, при определенных условиях все равно может появиться в поиске без содержимого страницы.

Поэтому правило «закрыть все URL с ?» лучше не использовать без предварительного анализа параметров.

Как проверить результат

После внесения изменений нужно убедиться, что поисковику оставлены именно нужные страницы.

Проверьте:

  1. какие GET-параметры встречаются на сайте;
  2. меняет ли каждый из них содержимое страницы;
  3. какие URL должны участвовать в поиске;
  4. правильно ли настроены GET-параметры в Яндекс.Вебмастере;
  5. нет ли конфликтующих правил в robots.txt;
  6. ведет ли canonical с дублей на правильный основной URL;
  7. не закрыты ли случайно полезные страницы фильтров и каталога.

После исправления проблемы сообщение в Яндекс.Вебмастере исчезает не моментально: роботу требуется повторно обработать страницы. Для ошибки с дублями Яндекс указывает, что данные после устранения причины обновляются в течение нескольких дней.

Главное правило при работе с GET-параметрами: не удалять и не закрывать их автоматически только потому, что в URL появился знак ?. Сначала нужно определить, меняет ли параметр содержание страницы и нужна ли эта версия URL в поиске. Только после этого выбирается способ обработки: настройка параметров в Яндекс.Вебмастере, Clean-param, canonical или другое техническое решение.