Анализ логов сервера для SEO

Яндекс Вебмастер и Google Search Console показывают обход сайта выборочно и с задержкой в несколько дней. Полную картину даёт только журнал доступа сервера — access.log: в нём записан каждый запрос робота с адресом, временем и кодом ответа. Разберём, что искать в логах, как отличить настоящего робота от подделки и что делать с найденным.

Одна строка лога — один запрос к сайту. В стандартном формате nginx и Apache (combined) строка выглядит так:

66.249.66.1 - - [21/Oct/2026:10:15:32 +0300] "GET /catalog/ HTTP/1.1" 200 5120 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

• IP-адрес — откуда пришёл запрос.
• Дата и время — когда робот открыл страницу.
• Запрос — какой адрес открыт.
• Код ответа — 200, 301, 404, 500 и другие.
• User-Agent — кем представился посетитель: браузером, Googlebot, YandexBot.

Лог лежит на сервере, обычно в /var/log/nginx/ или /var/log/apache2/, а на хостинге — в разделе «Логи» панели управления. Старые логи часто сжаты в .gz.

Назваться Googlebot может любой парсер — достаточно написать это в User-Agent. Поэтому роботов проверяют по IP-адресу:

• Google публикует официальные списки адресов своих роботов. Адрес не из списка — значит, не Google.
• Яндекс проверяют по DNS: обратная запись IP должна оканчиваться на yandex.ru, yandex.net или yandex.com, а прямая запись этого имени — вести обратно на тот же IP.
• Bing тоже публикует список адресов своего робота.

Поддельных роботов можно блокировать по IP, не боясь задеть поисковик. Но сначала проверьте, что среди них нет вашего сервера и сервисов, которые вы запускаете сами: инструменты проверки сайтов часто представляются роботом поисковика.

1. Ошибки 404 у роботов — уберите ссылки на удалённые страницы или настройте 301 на живые аналоги. Найти, откуда ведут ссылки, поможет поиск битых ссылок.
2. Ошибки 5xx — разберитесь с сервером в первую очередь: робот снижает частоту обхода, если сайт часто падает.
3. Обход параметров — для Яндекса закройте лишние параметры директивой Clean-param в robots.txt, для Google укажите canonical на основной адрес. Проверить robots.txt можно в проверке robots.txt.
4. Страницы без визитов — добавьте на них внутренние ссылки с часто обходимых страниц и отправьте на переобход в Вебмастере.

Как поисковик вообще находит и добавляет страницы в базу, мы разбирали в статье об индексации в поисковых системах.

Загрузите access.log или сжатый .gz в анализ логов сервера — бесплатно, без регистрации до 10 МБ, после регистрации до 50 МБ. Можно добавить адрес sitemap.xml. Отчёт покажет:

• долю каждого робота и посетителей, коды ответов;
• сколько запросов шло от поддельных Googlebot и YandexBot;
• обход по дням для Яндекса, Google, Bing и нейросетей;
• ошибки и самые посещаемые адреса у поисковых роботов;
• страницы из sitemap.xml, на которые роботы не заходили.

Сверху — выводы: что важно и что с этим делать. Файл разбирается и сразу удаляется, мы его не храним.

За какой период брать лог?

Минимум за неделю: многие страницы робот открывает не каждый день. Для крупного сайта лучше 2–4 недели.

Почему в логе почти нет Яндекса или Google?

Проверьте robots.txt, ответ сервера и добавлен ли сайт в Яндекс Вебмастер и Google Search Console. У новых и маленьких сайтов роботы заходят редко — это нормально.

Нужно ли закрывать нейросети в robots.txt?

Только если вы не хотите, чтобы страницы попадали в ответы ChatGPT, Perplexity и других сервисов. Если хотите — оставьте им доступ.

Чем лог лучше отчётов Вебмастера?

Лог показывает каждый запрос сразу и по всем роботам, включая поддельных и SEO-сервисы. Вебмастер даёт выборку по одному поисковику с задержкой.