Robots.txt: как создать и настроить

robots.txt — небольшой текстовый файл в корне сайта, который подсказывает поисковым роботам, какие разделы можно обходить, а какие нет. Он почти никогда не попадается на глаза посетителям, поэтому ошибки в нём живут месяцами: одна лишняя строка — и из поиска пропадает каталог или весь сайт. Разберём, как устроен файл, какие правила действительно работают в Яндексе и Google и как проверить настройку.

Файл всегда находится по адресу site.ru/robots.txt — в корне домена, а не в папке. У каждого поддомена и протокола свой файл: robots.txt на shop.site.ru не действует для site.ru. Робот загружает файл перед обходом сайта и выбирает из него группу правил для себя.

Важно понимать, что robots.txt управляет обходом, а не индексацией. Если на закрытую страницу ведут внешние ссылки, Google может показать её в выдаче без описания. Чтобы гарантированно убрать страницу из поиска, нужен мета-тег robots со значением noindex. Подробнее о том, как поисковики добавляют страницы в базу, — в статье «Индексация в поисковых системах».

1. Создайте обычный текстовый файл с именем robots.txt — в любом редакторе, в кодировке UTF-8.
2. Пропишите правила (пример ниже).
3. Загрузите файл в корневую папку сайта — ту же, где лежит главная страница.
4. Откройте https://ваш-сайт.ru/robots.txt в браузере и убедитесь, что видите текст файла, а не страницу ошибки.

Чтобы посмотреть robots.txt любого сайта, просто добавьте /robots.txt к адресу его главной страницы. Это удобный способ подсмотреть, как настроены сайты конкурентов на той же CMS.

Особенности CMS

• WordPress создаёт «виртуальный» robots.txt автоматически. Чтобы его изменить, загрузите свой файл в корень или используйте SEO-плагин — плагины Yoast и Rank Math позволяют редактировать файл из админки.
• Тильда формирует robots.txt сама; дополнительные правила задаются в настройках сайта, в разделе SEO.
• 1С-Битрикс позволяет редактировать файл в модуле «Поисковая оптимизация».

• User-agent — для какого робота группа правил. * — для всех, Yandex — для роботов Яндекса, Googlebot — для Google.
• Disallow — запрещает обход адресов, которые начинаются с указанного пути.
• Allow — разрешает обход, даже если более общий Disallow запрещает раздел.
• Sitemap — полный адрес карты сайта. Можно указать несколько.
• Clean-param — только для Яндекса: какие параметры адреса не меняют содержимое (метки utm, идентификаторы сессий). Помогает избежать дублей.

В путях можно использовать * — любая последовательность символов — и $ — конец адреса. Например, Disallow: /*?sort= закрывает все страницы с сортировкой, а Allow: /catalog/$ открывает только сам раздел каталога.

Это место, где ошибаются чаще всего.

1. Робот ищет группу со своим именем. Если для Яндекса есть отдельная группа User-agent: Yandex, правила из группы * для него не действуют вообще. Частая ошибка — закрыть служебные разделы в общей группе и забыть повторить их в группе для Яндекса.
2. Внутри группы побеждает правило с самым длинным совпадающим путём.
3. Если длина одинаковая, побеждает Allow.

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search/
Disallow: /*?sort=
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Sitemap: https://site.ru/sitemap.xml

Одной группы для всех роботов обычно достаточно. Отдельные группы для Яндекса и Google нужны, только если правила для них действительно разные.

• Закрывайте: админку, корзину и оформление заказа, личный кабинет, внутренний поиск, страницы сортировки и фильтров без ценности для поиска, технические дубли.
• Не закрывайте: CSS, JavaScript и картинки — без них поисковик не сможет отрисовать страницу и оценить её удобство на телефоне.
• Не закрывайте страницы, которые нужно убрать из индекса: робот не увидит на них noindex. Сначала noindex, и только потом, если нужно, Disallow.

Чтобы закрыть от роботов весь сайт — например, тестовую копию на поддомене, — достаточно двух строк:

User-agent: *
Disallow: /

Но если сайт или страница уже в индексе, одного robots.txt мало: робот перестанет заходить, но страница может ещё долго оставаться в выдаче. Надёжнее добавить на страницы мета-тег <meta name="robots" content="noindex"> (или закрыть тестовую копию паролем) и не запрещать её обход, пока поисковики не удалят страницы из индекса.

Эти два файла работают в паре: robots.txt говорит, куда роботу не нужно ходить, а карта сайта sitemap.xml — какие страницы важны. Укажите карту в robots.txt директивой Sitemap с полным адресом — так её найдут все поисковики, а не только те, куда вы добавили сайт вручную. Следите, чтобы в карте не было адресов, закрытых в robots.txt: такое противоречие поисковики отмечают как ошибку.

• Host — Яндекс перестал её учитывать в 2018 году. Главное зеркало задаётся 301-редиректом, проверить его можно в инструменте «Ответ сервера».
• Crawl-delay — не учитывают ни Яндекс, ни Google. Скорость обхода настраивается в Яндекс Вебмастере.

• Disallow: / в общей группе, оставшийся после разработки, — сайт полностью закрыт.
• Правила до первой строки User-agent — роботы их не применят.
• Sitemap без протокола (Sitemap: /sitemap.xml) — нужен полный адрес.
• Вместо robots.txt сервер отдаёт HTML-страницу 404 с кодом 200.
• Файл недоступен с ошибкой 5xx — Google в этом случае может приостановить обход сайта.

Проверьте файл в нашем инструменте «Проверка robots.txt»: он загрузит файл, разберёт правила так же, как Яндекс и Google, покажет ошибки и устаревшие директивы и проверит доступность карты сайта. Добавьте адреса важных страниц — инструмент покажет, открыты ли они для каждого робота и какое правило сработало.

Если карты сайта ещё нет, создайте её в генераторе sitemap.xml и добавьте ссылку в robots.txt. А после правок загляните в Яндекс Вебмастер и Google Search Console: там видно, как роботы прочитали обновлённый файл.