Как составить robots.txt за минуту
Выберите движок сайта и отметьте, что закрыть от индексации, — генератор соберёт robots.txt с правилами для Яндекса и Google. Результат обновляется сразу, его можно скопировать или скачать готовым файлом.
Для WordPress, 1С-Битрикс, OpenCart, Joomla и MODX уже заложены служебные разделы, которые не должны попадать в поиск: админка, авторизация, системные папки, дубли страниц с параметрами. При этом скрипты и стили остаются открытыми — поисковикам они нужны, чтобы правильно отрисовать страницу.
Что можно настроить
- Служебные страницыПоиск по сайту, корзина, оформление заказа, личный кабинет, сортировка и фильтры, версии для печати.
- НейросетиЗапретить ботам обучать модели на ваших текстах, но оставить ИИ-поиск (ChatGPT, Perplexity, Claude), который ссылается на сайт, — или закрыть все ИИ-боты.
- Clean-param для ЯндексаСклеивает адреса с UTM-метками, yclid и gclid с основной страницей — дубли не попадают в индекс.
- Sitemap и свои правилаСсылка на карту сайта и любые дополнительные директивы Allow и Disallow.
После загрузки файла на сайт проверьте его в анализаторе robots.txt: он покажет, какие адреса закрыты для Яндекса и Google. Карту сайта можно собрать в генераторе sitemap.xml.
Вопросы и ответы
Куда положить robots.txt?
В корень сайта, чтобы он открывался по адресу https://ваш-сайт/robots.txt. В WordPress и Битриксе файл также можно отредактировать через SEO-плагин или модуль.
Нужна ли директива Host?
Нет. Яндекс перестал её учитывать в 2018 году — главное зеркало определяется по 301-редиректу. Генератор её не добавляет.
Закрывает ли robots.txt страницу из поиска?
Он запрещает обход, но страница всё равно может попасть в индекс по внешним ссылкам. Чтобы гарантированно убрать её из поиска, используйте meta robots noindex.
Стоит ли запрещать нейросети?
Боты ИИ-поиска приводят посетителей: ChatGPT и Perplexity дают в ответах ссылки на источники. Обычно разумно закрыть только ботов обучения, а поиск оставить.