Как проверить индексацию сайта

Проверка индексации сайта — это регулярная сверка: какие URL поисковые системы уже знают, какие выпали и какие ещё ждут обхода. Ниже — пошаговое руководство с инструментами Яндекса, Google и точечной проверкой адресов через сервис nextin.ru.

Индексация — это процесс, при котором поисковая система сканирует страницу, анализирует содержимое и добавляет URL в свою базу. Не путайте три этапа: сканирование (робот загрузил страницу), индексация (страница попала в базу) и ранжирование (страница участвует в выдаче по запросам). Страница может быть в индексе, но не показываться по нужным запросам — это нормально и зависит от релевантности, конкурентности и качества контента.

Практические причины проверки:

• контроль новых URL — вы опубликовали статью или карточку товара и хотите убедиться, что поисковик её увидел;
• выявление выпавших страниц — часть URL пропала из базы после правок, смены шаблона или ошибок сервера;
• диагностика падения трафика — если позиции просели, сначала проверьте, не выпали ли целевые страницы из индекса.

В первую очередь отслеживайте целевые страницы (лендинги, карточки, статьи под запросы), новые URL после публикации и адреса после переезда или смены структуры. Для интернет-магазина это могут быть десятки тысяч адресов — здесь важна автоматизация, а не ручной перебор.

Самый быстрый способ — оператор site:. В Яндексе запрос site:example.ru покажет страницы домена в базе. В Google синтаксис тот же: site:example.ru. Чтобы проверить раздел, укажите путь: site:example.ru/blog/. Наличие одного конкретного адреса в Яндексе точнее проверяет оператор url: — например, url:example.ru/blog/statya/.

Цифры в результатах приблизительные. Поисковики показывают оценку, а не точное количество проиндексированных страниц, поэтому данные оператора расходятся с панелями вебмастеров. На выдачу влияют регион и язык: в Яндексе проверяйте с нужным регионом, в Google — с учётом страны и языка интерфейса. Если сайт мультирегиональный, сравнивайте результаты по каждому домену и поддомену отдельно.

Путь к данным: Яндекс Вебмастер → раздел «Индексирование» → «Страницы в поиске». Здесь две вкладки:

• Все страницы (в поиске) — адреса, которые участвуют в выдаче, с датой последнего обхода;
• Исключённые — адреса, которые робот знает, но не показывает в поиске, с причиной: редирект, ошибка ответа, дубль, запрет в robots.txt или noindex, недостаточно качественная страница.

Инструмент «Проверить статус URL» в разделе «Индексирование» показывает, знает ли Яндекс конкретный адрес и в поиске ли он, а «Переобход страниц» отправляет адрес роботу. Права на сайт нужно подтвердить заранее — без этого разделы недоступны.

Отчёт «Индексирование страниц» (раздел «Индексирование») группирует URL по статусам: «Проиндексировано», «Не проиндексировано» с причинами («Страница с редиректом», «Исключена тегом noindex», «Обнаружена, но не проиндексирована» и другие). Клик по причине открывает список URL — так вы находите проблемные группы страниц и исправляете их пачками.

Инструмент проверки URL показывает статус конкретного адреса. Если написано «URL есть в индексе Google», страница в базе; статус «Проиндексировано, несмотря на блокировку в файле robots.txt» означает, что адрес попал в индекс по ссылкам, хотя робот его не обходил. Запросить индексирование можно кнопкой «Запросить индексирование» — число таких запросов в день ограничено. Учтите: отчёт обновляется с задержкой и не отражает мгновенное состояние индекса.

Публичные способы доступны всем:

• операторы site: и url: в поиске;
• сторонние SEO-сервисы с бесплатным лимитом проверок.

Ограничения метода очевидны: вы не увидите причину исключения и не отправите страницу на переобход без прав в панелях. Данные сторонних сервисов могут отставать от вебмастеров на дни и недели, поэтому для диагностики используйте их только как первичный фильтр.

Точечная проверка строится просто: скопируйте URL, вставьте в инструмент, прочитайте статус и рекомендации. Ведите список важных страниц — таблица с колонками «URL», «Дата проверки», «Статус в Яндексе», «Статус в Google», «Причина исключения», «Действие», «Результат». Сравнивайте историю до и после изменений: после правки контента, снятия запретов или исправления ошибок сервера.

Запрашивайте переобход, когда есть что переобходить: обновили контент, убрали noindex, починили 5xx, добавили внутренние ссылки. Массовые запросы переобхода без причины не помогают — робот и так вернётся по расписанию.

Когда адресов много и нужно быстро увидёть факт наличия в базе, удобен инструмент «Страницы в индексе Яндекса и Google». Он проверяет список URL и показывает результат по каждому: да, нет или только раздел.

1. Откройте проверку и вставьте адреса — каждый с новой строки.
2. Выберите поисковые системы: Яндекс, Google или обе.
3. Запустите проверку. Без регистрации доступна одна бесплатная проверка до 10 адресов; после регистрации — до 500 адресов за раз.
4. Прочитайте отчёт. Для Яндекса используется оператор url: — точный адрес: «Да» — страница в индексе, «Нет» — Яндекс её не знает или исключил. Для Google — site: и список страниц: «Раздел» означает, что Google показывает вложенные страницы, но не саму страницу.
5. Ответ «Нет» перепроверьте повторным запросом.
6. Скачайте сводку в CSV: сколько адресов в индексе каждого поисковика и сколько нет — для отчёта или задачи разработчику.

Оплата идёт с баланса за фактические запросы к поисковикам — несколько копеек за адрес, точная сумма видна в форме до запуска. Если поисковик не ответил, запрос не оплачивается. Если страницы нет в индексе, проверьте технические причины: ответ сервера, robots.txt, noindex, canonical, наличие в sitemap.xml и внутренние ссылки. Инструмент показывает факт наличия в индексе, а причины разбирает проверка индексации страницы: robots.txt, meta robots, X-Robots-Tag и canonical для Яндекса и Google отдельно.

Базовые правила: в robots.txt не закрывайте от обхода разделы, которые должны попасть в индекс; запрет Disallow блокирует сканирование, а noindex — добавление в базу. Карта sitemap.xml перечисляет важные адреса и ускоряет их обнаружение роботом, но не гарантирует индексацию.

Типичные причины: запрет в robots.txt, тег noindex, ошибки 4xx/5xx, дубли с неверным canonical, отсутствие внутренних ссылок. Алгоритм диагностики:

1. Проверьте доступность URL и код ответа сервера.
2. Посмотрите директивы: robots.txt, noindex, canonical.
3. Убедитесь, что адрес есть в sitemap.xml и на него ведут внутренние ссылки.
4. Отправьте страницу на переобход в Яндекс Вебмастере и Google Search Console.

Не отправляйте на переобход тысячи URL подряд — это не ускоряет индексацию и создаёт лишнюю нагрузку. И помните: попадание в индекс не равно ранжированию. Страница может быть в базе, но не показываться в выдаче по запросу — работайте над контентом и ссылочным окружением.

Как проверить индексацию сайта в Яндексе?

Два способа: оператор site:вашдомен.ру в поиске и раздел «Индексирование» в Яндекс Вебмастере. Оператор даёт приблизительную картину, Вебмастер — точные статусы и историю проверок по каждому URL.

Сколько страниц сайта находится в индексе и почему цифры отличаются в разных сервисах?

Поисковики показывают оценку, а не точное число. Оператор site:, Яндекс Вебмастер, Google Search Console и сторонние сервисы обновляются в разное время и по-разному группируют URL, поэтому цифры расходятся. Ориентируйтесь на панели вебмастеров.

Почему страница не индексируется, хотя доступна по прямой ссылке?

Робот мог ещё не обойти новый URL, страница закрыта в robots.txt или тегом noindex, дублирует другую страницу или признана малополезной. Добавьте адрес в sitemap.xml, поставьте внутренние ссылки и отправьте на переобход.

Как часто можно отправлять страницы на переобход и влияет ли это на индексацию?

Отправляйте по необходимости: после правок контента, снятия запретов, исправления ошибок сервера. Массовые запросы не ускоряют процесс и не гарантируют индексацию.

Можно ли проверить индексацию чужого сайта без доступа к панелям вебмастеров?

Да, через операторы поиска и сторонние сервисы — например, проверку страниц в индексе. Но причину исключения вы не увидите, а данные могут отставать от актуального состояния базы.