Sitemap.xml: карта сайта

Sitemap XML — это файл со списком адресов сайта, который помогает поисковым роботам Яндекса и Google быстрее находить страницы для обхода. Разберём, как устроена карта сайта, какие URL в неё включать, как создать файл и проверить его на ошибки, из-за которых новые страницы выпадают из индекса.

Sitemap XML — это XML-файл со списком URL сайта, предназначенный для поисковых систем. В нём перечислены адреса страниц, которые вы хотите показать роботам, а необязательные теги помогают передать дату изменения и приоритет обхода.

Роль карты — подсказать поисковику, какие страницы существуют и как часто они меняются. Робот может найти URL и без карты, по внутренним ссылкам, но sitemap ускоряет crawl (обход) и помогает добраться до страниц, на которые ведёт мало ссылок. При этом файл не гарантирует попадание в индекс: страница должна быть открыта для индексации, содержать полезный контент и не дублировать другие адреса.

Не путайте две карты. HTML-карта — это страница для посетителей со ссылками на разделы сайта, она помогает навигации. XML-карта — технический файл для роботов, её пользователи не видят. Дублировать HTML-карту в sitemap.xml не нужно: в файл попадают только страницы, которые вы хотите индексировать.

Sitemap полезен не всем, и это нормально. Вот случаи, когда без него сложно:

• Крупные сайты с большим количеством страниц и глубокой вложенностью — робот может не обойти всё за разумное время.
• Сайты с динамическим контентом и частыми обновлениями: карта с актуальным lastmod подсказывает, что перечитывать.
• Страницы, слабо связанные внутренними ссылками: новые разделы, посадочные под запросы, товары в глубине каталога.
• Мультиязычные и мультирегиональные проекты, где нужны отдельные карты с hreflang.
• Молодые сайты, которые ещё плохо связаны ссылками и медленно набирают обход.

Мелкому статичному сайту из нескольких связанных страниц карта не обязательна: робот найдёт их по ссылкам с главной. Но и вреда от корректного файла не будет — главное, чтобы он не содержал мусорных адресов.

В карту попадают только канонические URL, которые возвращают код 200 и открыты для индексации. Если страница отдаёт canonical на другой адрес, в sitemap указывают именно канонический вариант.

Что исключать:

• страницы с noindex — они не должны попадать в индекс, и карта создаёт противоречие;
• редиректы и адреса, отдающие 301/302 — вместо них указывайте конечный URL;
• 4xx и 5xx — битые и временно недоступные страницы;
• дубли и параметрические URL (фильтры, сортировки, UTM-метки), если они ведут на тот же контент.

Приоритетные разделы и обновляемые страницы стоит отмечать в карте, но не через искусственное завышение priority у всего подряд. Если у сайта есть HTML-карта, не копируйте её целиком: XML-файл собирают по правилам индексации, а не по структуре навигации.

Корневой элемент — urlset с пространством имён sitemaps.org, внутри — блоки url, в каждом обязателен loc с абсолютным адресом. Пример минимальной записи:

• <url><loc>https://site.ru/page/</loc></url>

Необязательные теги — lastmod, changefreq, priority. lastmod действительно полезен: по нему робот понимает, что страница обновилась. changefreq и priority большинство поисковиков игнорируют, поэтому тратить время на их точную настройку смысла мало. Указывайте реальную дату изменения страницы, а не дату генерации карты.

Лимиты жёсткие: до 50 000 URL и до 50 МБ на один файл. При превышении карту делят на несколько файлов и объединяют индексом sitemapindex. Кодировка — UTF-8, адреса — абсолютные, с протоколом и доменом. Сжатые версии .gz допустимы и помогают уложиться в лимит размера.

Для сайта на CMS проще всего включить автоматическую генерацию: плагины и встроенные модули собирают карту при публикации страницы и обновляют её без ручной работы. Проверьте, что генератор исключает служебные страницы, пагинацию и параметры, а в lastmod попадает дата правки контента, а не дата сборки файла.

Если CMS не умеет собирать карту, её можно сделать генератором sitemap.xml: он обходит сайт как робот и включает только индексируемые страницы. Для небольших сайтов допустима и ручная сборка: составьте список URL, оберните каждый в url и loc, проверьте структуру XML валидатором. Такой файл придётся обновлять вручную, поэтому фиксируйте его в регламенте публикаций.

При автообновлении следите, чтобы новые разделы добавлялись, а старые URL не пропадали без причины. Если на сайте есть изображения, видео или новости, для них делают отдельные карты с соответствующими расширениями — это помогает поисковикам находить медиа и свежие материалы.

Разместите файл по корневому адресу — обычно это site.ru/sitemap.xml — и укажите его в robots.txt директивой Sitemap. Так роботы узнают о карте автоматически. Дополнительно добавьте файл в Яндекс Вебмастер (раздел «Индексирование» → «Файлы Sitemap») и Google Search Console: там видно статус обработки и число обнаруженных URL.

Для мультирегиональных и мультиязычных проектов отправляйте несколько карт: по одной на язык или регион, с корректными hreflang-связками. Тогда робот не запутается, какая версия страницы для какого пользователя предназначена.

Начните с Яндекс Вебмастера и Search Console: посмотрите статус карты, сколько URL обнаружено и сколько проиндексировано. Расхождение — повод разобраться, какие страницы не попали в индекс и почему. Типовые ошибки: 404 внутри карты, запрет URL в robots.txt, неверный синтаксис XML, адреса не главного зеркала, одинаковая дата lastmod у всех страниц.

Сам файл удобно проверить инструментом проверки карты сайта — порядок работы ниже. Он помогает увидеть, что карта не пересобирается после удаления страниц и в ней накопились битые адреса.

Пересматривайте карту регулярно: удаляйте устаревшие адреса, обновляйте lastmod, следите, чтобы карта соответствовала текущей структуре сайта.

Директива Sitemap в robots.txt указывает роботу, где лежит карта. Правила Disallow при этом имеют приоритет: если URL закрыт в robots.txt, но добавлен в sitemap, робот получит противоречивые сигналы и не сможет обойти страницу, а Вебмастер покажет это как ошибку карты.

Нельзя одновременно закрывать адрес в robots.txt и включать его в карту. Проверяйте конфликты через инструменты валидации: они показывают, какие URL из sitemap запрещены к обходу. Если страницу нужно индексировать, уберите запрет из robots.txt; если не нужна — исключите её из карты.

1. Откройте страницу проверки и введите адрес сайта — проверка бесплатна и работает без регистрации.
2. Инструмент сам находит карту по директиве Sitemap в robots.txt или по стандартным адресам. Если файл лежит в другом месте, укажите его адрес в поле проверки.
3. Запустите проверку: сервис загрузит все файлы карты вместе с индексом и сжатыми .gz.
4. Изучите блок «Формат»: корректность XML, пространство имён sitemaps.org, теги urlset и sitemapindex, Content-Type, лимиты 50 000 адресов и 50 МБ на файл.
5. Посмотрите блок «Адреса»: чужой домен, другой протокол и зеркало с www или без, дубли, параметры, страницы, закрытые в robots.txt.
6. Проверьте «Даты и ответы»: формат lastmod, даты в будущем, давно не обновлявшуюся карту и выборочные ответы сервера по адресам — 404, 5xx, редиректы, noindex.

После исправления ошибок пересоберите карту и запустите проверку sitemap.xml онлайн повторно — так вы убедитесь, что правки применились ко всем файлам, включая индекс.

• Автогенерация карты при публикации и мониторинг ошибок в Яндекс Вебмастере и Search Console.
• Контроль лимитов: при приближении к 50 000 URL или 50 МБ разбивайте карту и собирайте sitemapindex.
• Обновление после смены структуры, домена и переезда — старые адреса не должны оставаться в файле.
• Проверка lastmod: реальные даты правок, без одинаковой даты у всех страниц.
• Сверка с robots.txt: ни один URL из карты не закрыт правилом Disallow.
• Регулярная проверка ответов сервера по адресам из карты, чтобы вовремя убирать 404 и редиректы.

Что такое sitemap.xml простыми словами?

Это файл со списком адресов сайта для поисковых роботов. Он подсказывает, какие страницы существуют и когда они обновлялись, чтобы поисковик быстрее их обошёл.

Обязательно ли создавать карту сайта для SEO?

Нет. Небольшой статичный сайт с хорошей внутренней перелинковкой робот обойдёт и без карты. Для крупных, динамических и слабо связанных сайтов sitemap заметно упрощает обход.

Сколько URL можно включить в один sitemap.xml?

Не больше 50 000 адресов и 50 МБ на файл. Если сайт больше, карту делят на несколько файлов и объединяют индексом sitemapindex.

Как добавить sitemap в Google Search Console?

В разделе «Файлы Sitemap» укажите адрес карты и отправьте его. Предварительно разместите файл на сайте и пропишите директиву Sitemap в robots.txt.

Почему страницы из sitemap не индексируются?

Частые причины: noindex, запрет в robots.txt, редирект, 404, дубль с canonical на другой адрес или недостаточно полезный контент. Проверьте ответ сервера и настройки индексации для конкретных URL.