Зачем проверять robots.txt
robots.txt говорит поисковым роботам, какие разделы сайта можно обходить, а какие нет. Одна лишняя строка — и из поиска пропадает каталог или весь сайт. Ошибки в этом файле не видны посетителям, поэтому их часто замечают только по падению трафика.
Инструмент загружает robots.txt, разбирает правила так же, как Яндекс и Google, и показывает ошибки: закрытый сайт, закрытые стили и скрипты, недоступную карту сайта, устаревшие и неизвестные директивы.
Что проверяется
- Доступность файлаКод ответа сервера, редиректы, HTML-страница вместо текста, размер больше 500 КБ.
- Правила для роботовКакая группа User-agent действует для Яндекса и для Google и что именно в ней запрещено.
- Ошибки синтаксисаПравила до User-agent, строки без двоеточия, пути без слеша, неизвестные директивы.
- Sitemap и устаревшееДоступность карт сайта, устаревшие Host и Crawl-delay, закрытые CSS и JS.
Укажите адреса страниц — инструмент покажет, открыты ли они для Яндекса и Google и какое правило сработало. Правила считаются по стандарту: побеждает самое длинное совпадение, при равенстве — Allow, поддерживаются * и $.
Вопросы и ответы
Это бесплатно?
Да, проверка бесплатная и без регистрации.
Если страница закрыта в robots.txt, она точно не попадёт в поиск?
Не всегда. Google может проиндексировать закрытую страницу по внешним ссылкам, но без содержимого. Чтобы гарантированно убрать страницу из поиска, используйте мета-тег robots noindex — проверить его можно в SEO-анализе страницы.
Нужна ли директива Host?
Нет. Яндекс перестал её учитывать в 2018 году. Главное зеркало задаётся 301-редиректом — проверить его можно в инструменте ответа сервера.
Где взять карту сайта, если её нет?
Создайте её в нашем генераторе sitemap.xml и добавьте в robots.txt строку Sitemap с полным адресом.