Что делать с тестовой версией сайта

Наличие у сайта одной или нескольких тестовых версий — ситуация типичная. Необходимость создания тестовых версий связана с тем, что внесение каких-либо изменений в работающий сайт без предварительного тестирования может привести к появлению различных ошибок, которые не позволят совершить посетителю целевое действие.

Но зачастую, веб-мастера не уделяют должного внимания настройке тестовых версий (технически — дубликатов основного сайта), из-за чего тестовые версии индексируются поисковыми системами.

Добавление в индекс дублей страниц на другом домене может приводить к нежелательным последствиям в виде некорректной склейки зеркал сайта, частичной потери поискового трафика или переходов пользователей на страницы с некорректной информацией.

Как правило, частичная или полная индексация сайта возникает или из-за отсутствия файла robots.txt на тестовой версии, или из-за некорректных директив в нем. Например, файл был скопирован с основной версии сайта и содержит аналогичные директивы.

Однако отметим, что файл robots.txt является не строгим правилом для поисковых роботов, а лишь набором рекомендаций. Из-за этой особенности в некоторых случаях (как правило - при наличии внешних ссылок на тестовый сайт) главная страница тестового сайта может быть проиндексирована поисковыми системами, даже если файл robots.txt корректен.

Для того чтобы полностью исключить вероятность индексации тестовых версий сайта (или сайтов на этапе разработке), мы рекомендуем настраивать их таким образом: доступ к страницам и файлам предоставлять только после прохождения авторизации, настроенной средствами сервера или установленной CMS.

В случае ввода некорректных данных или отказа от их ввода, необходимо передавать код ответа «401 Unauthorized».

Частые ошибки и вопросы при настройке тестовых версий сайта

Можно ли указать основную версию сайта с помощью директивы host в файле robots.txt?

Нет, нельзя. Поддержка директивы host была остановлена в марте 2018 года, и на текущий момент она не учитывается поисковыми системами.

Можно ли закрыть от индекса тестовую версию сайта с помощью тега <meta name="robots" content="noindex, nofollow" />?

Не рекомендуется. Если на страницах тестового сайта будут присутствовать внешние ссылки, такие страницы могут быть проиндексированы поисковыми системами.

Как узнать, проиндексирован ли тестовый сайт поисковыми системами?

Чтобы узнать, содержатся ли в индексе поисковых систем страницы какого-либо сайта, необходимо в поисковую строку ввести следующий запрос: site:xxx — для ПС Google, url:xxx* — для ПС «Яндекс» (*xxx — URL сайта).

В результатах поиска будут перечислены проиндексированные страницы.

Если сайт был добавлен в панели веб-мастеров, индексацию страниц можно проверить в соответствующих разделах.

Как удалить проиндексированные страницы из индекса поисковых систем?

Если какие-либо страницы тестового сайты были проиндексированы поисковыми системами, их можно удалить из индекса, используя специальные инструменты: «Удалить URL-адреса» в Google Search Console и «Удаление страниц из поиска» в «Яндекс.Вебмастере».

Можно ли ничего не настраивать? Поисковые системы сами удалят тестовую версию из индекса?

Не рекомендуем. Если тестовая версия доступна для индексации, поисковые системы могут некорректно выбрать основной сайт. Как результат, в поиске будет отображаться только тестовая версия, или она будет ранжироваться лучше основной.

Так как тестовая версия может быть или неработоспособной, или содержать в себе некорректную информацию, пользователь не сможет получить полную информацию о товаре или услуге.