Почему страница не попадает в индекс
Страница может быть закрыта от поисковиков сразу в нескольких местах: в robots.txt, в meta robots, в HTTP-заголовке X-Robots-Tag, через canonical на другой адрес или просто ответом сервера. Часто запрет остаётся случайно — после разработки, переезда или настройки плагина.
Инструмент смотрит на страницу глазами YandexBot и Googlebot и отдельно для каждого поисковика отвечает: может ли она попасть в индекс, а если нет — что именно мешает.
Что проверяется
- ЗапретыОтвет сервера роботу, правила robots.txt для Яндекса и Google, meta robots (общий, yandex, googlebot) и X-Robots-Tag, в том числе с префиксом бота.
- CanonicalЕсть ли canonical, на себя или на другой адрес, нет ли нескольких разных, не стоит ли в body, что отвечает адрес из canonical — 200, редирект или noindex.
- hreflang и IndexNowКоды языков, ссылка на саму страницу, x-default, обратные ссылки с языковых версий. Ключ IndexNow — и отправка адреса в Яндекс на переобход.
Некоторые сайты пропускают только настоящих роботов, проверяя их IP. Если сайт отвечает «роботу» ошибкой, а браузеру — нормально, инструмент так и скажет и посоветует проверить страницу в Вебмастере.
Как открыть страницу для индексации
- Уберите Disallow для адреса в robots.txt — или добавьте более точное правило Allow.
- Удалите noindex из meta robots и заголовка X-Robots-Tag (его часто ставят плагины SEO и настройки сервера).
- Укажите canonical на саму страницу, если это не дубль.
- Для многоязычного сайта проверьте, что все языковые версии ссылаются друг на друга.
- Отправьте страницу на переобход через IndexNow или «Переобход страниц» в Яндекс Вебмастере.
Вопросы и ответы
Чем закрытие в robots.txt отличается от noindex?
robots.txt запрещает роботу заходить на страницу, но адрес всё равно может попасть в выдачу без описания, если на него есть ссылки. noindex разрешает зайти, но запрещает показывать страницу в поиске. Если закрыть страницу в robots.txt, робот не увидит её noindex.
Что такое IndexNow?
Протокол, по которому сайт сам сообщает Яндексу, Bing и другим поисковикам о новых и изменённых страницах. Нужен ключ: файл ключ.txt в корне сайта с ключом внутри. Инструмент проверит файл и по желанию отправит адрес на переобход.
Как узнать, есть ли страница в индексе прямо сейчас?
Введите в Яндексе запрос url:адрес-страницы или проверьте адрес в разделе «Проверка статуса URL» Яндекс Вебмастера. Этот инструмент показывает, может ли страница туда попасть.
Это бесплатно?
Да, без регистрации — до 30 проверок в день.