sitemap.xml в SEO-продвижении

Успешное продвижение сайта в поисковых системах невозможно без правильной настройки технических параметров. Одним из ключевых направлений этой работы является создание и регулярная проверка sitemap.xml — файла, который служит навигатором для поисковых роботов в структуре вашего сайта.

Что такое sitemap.xml

sitemap.xml — это структурированный XML-файл, содержащий список всех важных страниц сайта с дополнительной информацией о них. По сути, это карта сайта, предназначенная специально для поисковых систем, которая помогает роботам Google, Яндекса и других поисковиков эффективно сканировать и индексировать контент.

В зависимости от используемых тегов файл sitemap может указывать поисковым системам:

• какие страницы существуют на сайте;
• когда они в последний раз обновлялись;
• как часто меняется контент на странице;
• какие страницы наиболее важны.

На заметку: sitemap.xml не гарантирует индексацию всех указанных страниц, но значительно увеличивает вероятность их обнаружения поисковыми роботами.

Зачем нужен sitemap.xml

Карта сайта решает несколько важных задач:

1. Ускорение индексации: поисковые роботы быстрее находят новые и обновленные страницы, что особенно важно на крупных сайтах с разветвленной структурой или на сайтах, контент которых часто обновляется.
2. Полнота сканирования: на некоторые страницы могут ссылаться реже, чем на другие, или вовсе не ссылаться, и карта сайта становится единственным способом их обнаружения.
3. Приоритизация контента: указание приоритета и частоты обновления помогает поисковым системам распределять краулинговый бюджет более эффективно.

Технические требования

• Максимальный размер файла: 50 МБ (без сжатия);
• Максимальное количество URL: 50 000 в одном файле. При превышении необходимо разделить на несколько файлов и использовать файл индекса sitemap;
• Кодировка: UTF-8;
• Форматы: XML или TXT;
• Значения тегов необходимо экранировать;
• Файл должен размещаться в корневом каталоге сайта (/sitemap.xml). URL карты должен отдавать HTTP код 200.

Теги sitemap.xml

Пример базовой структуры:

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9;

   <url>

      <loc>https://domain.ru/;

      <lastmod>2024-01-15</lastmod>

      <changefreq>weekly</changefreq>

      <priority>1.0</priority>

   </url>

   <url>

      <loc>https://domain.ru/services/;

      <lastmod>2024-01-10</lastmod>

      <changefreq>monthly</changefreq>

      <priority>0.8</priority>

   </url>

</urlset>

Важно: Google игнорирует значения тегов <priority> и <changefreq> и учитывает <lastmod> при условии того, что дата изменения может быть перепроверена путем сравнения с последней измененной версией страницы.

Как создать sitemap.xml для сайта

1. Вручную.
2. С помощью автоматических генераторов по типу XML-Sitemaps.com, Mysitemapgenerator.com, Screaming Frog SEO Spider.
3. С помощью плагинов CMS.

Каких URL не должно быть в файле:

• страницы, закрытые от индексирования (meta robots, X-Robots-Tag),
• страницы, закрытые от сканирования (robots.txt),
• неканонические страницы (страницы, содержащие атрибут rel="canonical" с ссылкой на другую страницу),
• страницы пагинации,
• pdf-страницы,
• страницы, отдающие отличный от 200 ОК код ответа сервера (3xx, 4хх, 5хх).

Файл индекса sitemap

Если количество ссылок и размер файла превышают установленные лимиты, нужно создать несколько sitemap, ссылки на каждый из сайтмэпов указать в файле индекса sitemap. 

Требования к файлу индекса sitemap:

• Формат - XML;
• Кодировка - UTF-8;
• Максимальное количество ссылок на файлы sitemap - 50000;
• Максимальный размер в несжатом виде - 50 МБ;
• Начинается с открывающего тега <sitemapindex> и заканчивается закрывающим тегом </sitemapindex>;
• Для каждого файла sitemap добавлена запись <sitemap> как родительский XML-тег;
• Указана дочерняя запись <loc> для каждого родительского тега <sitemap>;
• Файл размещен на корневом уровне на том же домене, что и сайт, для которого он составлен;
• В файле указаны только файлы sitemap, которые находятся на том же сайте, что и файл индекса sitemap;
• При обращении к файлу сервер возвращает HTTP-код 200.

Пример файла индекса sitemap, который содержит два файла sitemap:

<?xml version="1.0" encoding="UTF-8"?>

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9;

   <sitemap>

      <loc>http://www.domain.ru/sitemap1.xml.gz;

      <lastmod>2024-10-01T18:23:17+00:00</lastmod>

   </sitemap>

   <sitemap>

http://www.domain.ru/sitemap2.xml.gz

      <lastmod>2024-01-01</lastmod>

   </sitemap>

</sitemapindex>

Как добавить sitemap.xml в панели вебмастеров

Google Search Console:

• Войдите в Google Search Console;
• Выберите ваш сайт;
• Перейдите в раздел "Индексирование" → "Файлы Sitemap";
• Введите URL файла sitemap.xml;
• Нажмите "Отправить".

Яндекс Вебмастер:

• Откройте Яндекс.Вебмастер;
• Выберите нужный сайт;
• Перейдите в "Индексирование" → "Файлы Sitemap";
• Вставьте ссылку на карту сайта;
• Нажмите "Добавить".

Помните: после добавления регулярно проверяйте статус обработки файла в панелях вебмастеров.

Проверка sitemap.xml

1. Откройте файл в браузере, его содержимое должно отображаться корректно;
2. Используйте панели вебмастеров (Яндекс Вебмастер и Google Search Console) и онлайн валидаторы для проверки синтаксиса и структуры;
3. Проверьте доступность всех указанных URL, а также их настройки сканирования и индексирования, например, спарсив страницы карты Screaming Frog.

Советы по работе с картой сайта

• включайте в карту страницы, подлежащие участию в поиске;
• регулярно обновляйте файл вручную или настройте автоматическое обновление через CMS;
• указывайте реальные даты последних изменений;
• используйте абсолютные URL;
• размещайте файл в корне домена;
• создавайте отдельные карты для разных типов контента, например, карту изображений, видео, новостного контента, локализованных версий страниц сайта.

Заключение

sitemap.xml — это фундаментальный инструмент технического SEO, который обеспечивает корректное индексирование вашего сайта с поисковыми системами. Правильно созданная и регулярно обновляемая карта сайта становится мостом между вашим контентом и поисковыми роботами, значительно улучшая видимость сайта в поиске.