Как закрыть страницу от индексации

Закрыть страницу от индексации — значит запретить поисковым роботам добавлять её в базу выдачи. Способы три: robots.txt, метатег robots и HTTP-заголовок X-Robots-Tag. Они решают разные задачи, и путать их — главная причина, по которой страницы остаются в индексе после «запрета». Ниже — рабочие инструкции, как закрывать отдельные URL, пагинацию, зеркала и PDF, и как проверить результат.

Не каждая страница сайта заслуживает места в выдаче. Часть URL создана для людей, а не для поиска, и их индексация только мешает продвижению.

• Служебные и технические страницы. Корзина, личный кабинет, оформление заказа, страница «спасибо за покупку». Они не несут полезного контента, зато могут попасть в индекс и показаться пользователю вместо товара или статьи.
• Дубли и параметры URL. Фильтры, сортировки, UTM-метки, сессионные идентификаторы порождают тысячи адресов с одинаковым содержимым. Робот тратит на них краулинговый бюджет, а до важных страниц доходит позже.
• Тестовые версии, зеркала, внутренние материалы. dev-поддомен, старая копия сайта, черновики и документы для сотрудников не должны конкурировать с основным доменом.

Есть и обратная сторона: закрывать нужно точечно. Если под запрет попадёт раздел с товарами или статьями, вы потеряете трафик и не сразу заметите это в отчётах.

Сканирование — это обход страницы роботом и сбор данных: заголовков, текста, ссылок, заголовков ответа сервера. Индексация — добавление URL в поисковую базу, из которой формируется выдача. Это два разных процесса, и запрет на один не всегда отменяет другой.

Директива Disallow в robots.txt останавливает сканирование. Но если на страницу ведут внешние ссылки, поисковик может добавить адрес в индекс без контента — в выдаче появится строка с URL и без описания. Метатег noindex, наоборот, разрешает роботу зайти и прочитать страницу, но запрещает показывать её в результатах поиска. Отсюда правило: для полного исключения из выдачи нужен noindex, а robots.txt — вспомогательный инструмент.

Файл robots.txt лежит в корне сайта и состоит из блоков. В каждом блоке указывают, к какому роботу он относится (User-agent) и что этому роботу запрещено (Disallow).

Пример запрета для всех роботов:

User-agent: *
Disallow: /cart/
Disallow: /search/

Пример для конкретных роботов:

User-agent: YandexBot
Disallow: /tmp/

User-agent: Googlebot
Disallow: /tmp/

Для шаблонов используют символы * (любая последовательность) и $ (конец адреса). Директива Disallow: /*?sort= закроет все URL с параметром сортировки, а Disallow: /*.pdf$ — все PDF-файлы. Если нужно разрешить вложенный адрес внутри закрытой папки, добавьте более точное правило Allow.

Типичные ошибки: регистр в пути (пути в правилах чувствительны к регистру: /Cart/ и /cart/ — разные адреса), забытый слеш в начале пути, конфликтующие строки в одном блоке. Проверьте файл в Яндекс Вебмастере («Инструменты» → «Анализ robots.txt») и в отчёте robots.txt в Google Search Console — оба покажут, как робот читает правила.

Метатег размещают в разделе head HTML-кода страницы. Он действует только на эту страницу и читается роботом при обходе.

<meta name="robots" content="noindex, nofollow">

Директива noindex запрещает показывать страницу в поиске, nofollow — переходить по ссылкам с неё, noarchive — сохранять копию. Можно адресовать тег отдельному роботу: name="yandex" или name="googlebot".

Важное сочетание: если URL закрыт в robots.txt через Disallow, робот не зайдёт на страницу и не увидит метатег. Поэтому, чтобы убрать из выдачи страницу, которая уже закрыта в robots.txt, снимите Disallow, поставьте noindex и дождитесь, пока робот переобойдёт страницу и исключит её. После этого запрет сканирования можно вернуть.

Яндекс и Google поддерживают основные директивы, но переобход занимает время: страница может оставаться в выдаче, пока робот не посетит её снова. Ускорить процесс помогают инструменты переобхода в панелях вебмастера.

X-Robots-Tag — HTTP-заголовок ответа сервера. Он нужен там, где нет доступа к HTML: для PDF, изображений, видео, файлов и динамических страниц, которые генерируются кодом.

Пример синтаксиса:

X-Robots-Tag: noindex, nofollow

Заголовок настраивают на уровне сервера (в конфигурации nginx или Apache) или для отдельного URL через CMS. Он также читается роботом и работает по тем же правилам, что метатег. Для префикса конкретного бота используется конструкция вида X-Robots-Tag: googlebot: noindex.

Такой подход удобен, когда нужно закрыть целый тип файлов, например все документы в папке /docs/, не меняя каждый файл вручную.

Страницы пагинации — это страницы 2, 3, 4 и далее в списках товаров или статей. Решение зависит от задачи.

1. rel=canonical на первую страницу. Если страницы пагинации — лишь продолжение списка, canonical сообщает поисковику, что основная версия — первая страница. Контент не исключается из индекса, но перестаёт конкурировать с главной. Учтите: Google советует оставлять у страниц пагинации canonical на себя, а не на первую страницу, — этот способ больше подходит для Яндекса.
2. Метатег noindex для страниц с параметром page. Подойдёт, если вторая и последующие страницы не нужны в выдаче как самостоятельные результаты. Убедитесь, что робот может их обходить, иначе ссылки на товары с глубоких страниц станут недоступны.
3. Настройка robots.txt. Закрывайте URL с параметром пагинации точечно, не блокируя весь раздел. Например, правило для адресов с &page= в сочетании с Allow для основных страниц каталога.

Главный риск — закрыть пагинацию так, что робот перестанет находить товары или статьи на дальних страницах. После настройки проверьте, индексируются ли карточки из глубины каталога.

Зеркало — копия сайта, доступная по другому адресу: http и https, с www и без, на поддомене. Поисковые системы выбирают главное зеркало, но лучше указать его явно.

1. Настройте 301-редирект с зеркала на основной домен. Это основной способ: робот получает постоянный редирект и переносит сигналы на главный адрес.
2. Укажите главное зеркало в Яндекс Вебмастере — раздел «Индексирование» → «Переезд сайта». Директиву Host в robots.txt Яндекс больше не учитывает.
3. Поставьте метатег noindex на зеркале до настройки редиректа, чтобы ускорить исключение копии из выдачи.

Проверка занимает минуты, но экономит часы отладки. Порядок такой:

• Яндекс Вебмастер, раздел «Индексирование» → «Страницы в поиске», вкладка исключённых страниц: покажет, какие страницы выпали из поиска и по какой причине.
• Google Search Console, отчёт «Индексирование страниц»: список исключённых URL и статусов.
• Оператор site: и запрос url:адрес-страницы в поиске: показывают, попал URL в индекс или нет.
• Проверка robots.txt и метатегов через валидаторы, анализ HTTP-заголовков через расширения браузера или сервисы.

Инструмент «Проверка индексации» показывает, может ли конкретный адрес попасть в индекс Яндекса и Google, и отдельно для каждого поисковика объясняет, что мешает. Он смотрит на страницу глазами YandexBot и Googlebot.

1. Откройте страницу проверки и введите полный URL, который хотите проверить.
2. Запустите проверку. Инструмент запросит страницу от имени YandexBot и Googlebot и соберёт ответы сервера, правила robots.txt, метатеги и заголовки.
3. Изучите блок «Запреты»: ответ сервера роботу, правила robots.txt для Яндекса и Google, meta robots (общий, yandex, googlebot) и X-Robots-Tag, в том числе с префиксом бота.
4. Проверьте блок «Canonical»: есть ли canonical, на себя или на другой адрес, нет ли нескольких разных, не стоит ли он в body, что отвечает адрес из canonical — 200, редирект или noindex.
5. Посмотрите блок «hreflang и IndexNow»: коды языков, ссылку на саму страницу, x-default, обратные ссылки с языковых версий. При необходимости отправьте адрес на переобход через IndexNow.
6. Прочитайте вердикт по каждому поисковику. Если инструмент сообщает, что сайт отвечает «роботу» ошибкой, а браузеру — нормально, проверьте страницу в Вебмастере: возможно, сервер пропускает только настоящих роботов по IP.

Проверка бесплатна и без регистрации — до 30 проверок в день. Это удобно, когда нужно быстро понять, почему страница не попадает в индекс: часто запрет остаётся случайно после разработки, переезда или настройки плагина. Запустить проверку стоит и после каждого изменения правил — чтобы не ждать неделю и не обнаружить ошибку постфактум.

• Закрытие в robots.txt без снятия из индекса. Страница остаётся в выдаче без описания, пока робот не переобойдёт её с noindex.
• Конфликт директив. noindex в метатеге при Disallow в robots.txt не работает: робот не заходит и не читает тег.
• Забытые параметры и динамические страницы. Правила написаны для папки, а дубли живут на URL с параметрами.
• Отсутствие проверки. Изменения не проверяют в Вебмастере и Search Console и ждут мгновенного результата. Переобход занимает время.

Как закрыть одну страницу от индексации, не трогая весь сайт?

Поставьте метатег noindex в head этой страницы. Если страница не HTML, используйте заголовок X-Robots-Tag. robots.txt для одной страницы тоже подойдёт, но помните: без noindex она может остаться в индексе без описания.

Что делать, если страница уже в индексе, а я поставил запрет в robots.txt?

Уберите Disallow, чтобы робот смог зайти, добавьте noindex в метатег или заголовок и отправьте URL на переобход через Яндекс Вебмастер или IndexNow. После исключения из выдачи можно вернуть запрет сканирования.

Можно ли закрыть сайт от индексации без доступа к robots.txt?

Да. Метатег robots и заголовок X-Robots-Tag настраиваются через CMS, шаблон или конфигурацию сервера и не требуют правки файла в корне. Для массового закрытия разделов это даже надёжнее.

Почему страница с noindex всё равно появляется в поиске?

Скорее всего, робот ещё не переобошёл страницу после изменения. Другой вариант — конфликт: URL закрыт в robots.txt, и метатег не читается. Проверьте оба условия и статус переобхода.

Как закрыть от индексации PDF-файлы или картинки?

Используйте заголовок X-Robots-Tag: noindex на уровне сервера или для отдельного URL. Для PDF можно также закрыть путь в robots.txt, но для гарантированного исключения из выдачи нужен именно заголовок.

Нужно ли закрывать страницы пагинации от индексации и как это сделать правильно?

Зависит от структуры сайта. Часто достаточно canonical на первую страницу. Если страницы пагинации не нужны в выдаче, ставьте noindex, но следите, чтобы робот мог обходить их и находить товары и статьи на глубоких страницах.