Что такое sitemap.xml и зачем он нужен
Sitemap.xml — это файл со списком страниц сайта, которые нужно проиндексировать. Он помогает Яндексу и Google быстрее находить новые и глубоко вложенные страницы и не пропускать их.
Карта особенно важна для крупных каталогов, сайтов с большим количеством статей, новых проектов без внешних ссылок и страниц, до которых сложно добраться по меню. Генератор соберёт sitemap.xml автоматически: достаточно указать адрес сайта.
Как работает генератор
Сервис обходит сайт, как поисковый робот: начинает с главной страницы, переходит по внутренним ссылкам и проверяет каждую найденную страницу. В карту попадают только страницы, которые действительно стоит индексировать.
- Учитывает robots.txtСтраницы, закрытые директивой Disallow, в карту не попадают.
- Пропускает noindexСтраницы с meta robots noindex или заголовком X-Robots-Tag исключаются.
- Следует canonicalЕсли страница указывает канонической другую, в карту попадает каноническая.
- Убирает редиректыВ карту попадают конечные адреса, а не ссылки с перенаправлением.
- Отсеивает ошибкиСтраницы с кодами 404, 500 и таймаутами не включаются.
- Только страницыКартинки, PDF, архивы и другие файлы пропускаются.
Как создать карту сайта
- Укажите адресНапример,
example.ru— протокол и www сервис определит сам. - Запустите обходПрогресс видно на странице: сколько проверено и сколько попадёт в карту.
- Скачайте файлГотовый sitemap.xml и список страниц с причинами исключений.
- Разместите на сайтеЗагрузите файл в корень сайта и добавьте его в Вебмастер и Search Console.
Как подключить sitemap.xml
- Загрузите файл в корневую папку сайта, чтобы он открывался по адресу
https://ваш-сайт.ru/sitemap.xml. - Добавьте в robots.txt строку
Sitemap: https://ваш-сайт.ru/sitemap.xml. - Отправьте карту в Яндекс Вебмастер (Индексирование → Файлы Sitemap) и Google Search Console (Файлы Sitemap).
- Пересобирайте карту после добавления разделов и большого количества новых страниц.
Посмотрите, что не попало в карту: много исключённых по noindex или canonical страниц — повод проверить настройки сайта. Возможно, нужные страницы закрыты от индексации по ошибке.
Почему nextin.ru
- Обход с учётом robots.txt, noindex, canonical и редиректов — в карте только индексируемые страницы.
- Отчёт о том, какие страницы и почему не попали в карту.
- Бесплатно и без регистрации — до 500 страниц. Для сайтов больше — по тарифу.
- Другие инструменты: поиск релевантной страницы и кластеризация запросов.
Вопросы и ответы
Сколько страниц можно проверить бесплатно?
Без регистрации генератор проверяет до 500 страниц сайта. Для сайтов больше 500 страниц нужна регистрация и тариф.
Почему в карте меньше страниц, чем на сайте?
В карту попадают только индексируемые страницы. Исключаются страницы, закрытые в robots.txt или тегом noindex, неканонические копии, редиректы и страницы с ошибками. Под результатом указано, сколько страниц и по какой причине исключено.
Попадут ли страницы, на которые нет ссылок?
Нет. Генератор находит страницы по внутренним ссылкам, как поисковый робот. Если на страницу нельзя попасть по ссылкам с сайта, стоит добавить на неё ссылку — это полезно и для индексации.
Что делать со страницами с параметрами (?page=2)?
По умолчанию адреса с GET-параметрами не включаются: обычно это сортировки, фильтры и дубли. Если такие страницы нужны в карте, отметьте соответствующий пункт перед запуском.
Откуда берётся дата изменения (lastmod)?
Из заголовка Last-Modified, который отдаёт сервер сайта. Если сервер его не отдаёт, дата в карту не ставится — это допустимо.
Как часто обновлять sitemap.xml?
После добавления новых разделов и заметного количества новых страниц. Для сайтов, где страницы появляются каждый день, лучше настроить автоматическое формирование карты средствами CMS.
Куда загрузить готовый файл?
В корень сайта, чтобы он открывался по адресу ваш-сайт.ru/sitemap.xml. Затем добавьте ссылку на карту в robots.txt и отправьте её в Яндекс Вебмастер и Google Search Console.