Что такое анализ логов сервера
Анализ логов сервера — это разбор журнала доступа (access.log), куда сервер записывает каждый запрос: адрес, время, код ответа и User-Agent. Только по логам видно, как поисковые роботы на самом деле обходят сайт: какие страницы открывают, как часто и где получают ошибки.
Яндекс Вебмастер и Google Search Console показывают обход выборочно и с задержкой, а лог — каждый запрос без исключений. Инструмент разбирает файл за секунды и собирает отчёт: роботы и их доля, поддельные боты, ошибки, обход по дням и страницы из sitemap.xml, на которые роботы не заходили.
Как пользоваться
- Скачайте логФайл access.log лежит на сервере или в панели хостинга, обычно в разделе «Логи». Подойдёт и сжатый .gz.
- Загрузите файлДо 10 МБ без регистрации, до 50 МБ после. Для пары строк можно просто вставить их в поле.
- Добавьте sitemap.xmlНеобязательно: тогда покажем страницы из карты сайта, которые роботы ни разу не открыли.
- Изучите выводыСверху — главное и что с этим делать, ниже — таблицы по роботам, дням, ошибкам и самым посещаемым адресам.
Что показывает отчёт
- Роботы и посетителиЯндекс, Google, Bing, Mail.ru, нейросети (GPTBot, ClaudeBot, PerplexityBot и другие), SEO-сервисы и скрипты — с долей запросов и кодами ответа.
- Поддельные ботыGoogle и Bing сверяем с их официальными списками адресов, Яндекс — по DNS. Парсеры под видом Googlebot видно сразу.
- Ошибки у роботовАдреса, где робот получил 404 или 5xx: их нужно исправить или настроить 301.
- Куда уходит обходДоля адресов с параметрами, файлов, редиректов и ошибок — лишнее отнимает краулинговый бюджет.
- Обход по днямСколько запросов в день делают Яндекс, Google, Bing и нейросети — видно всплески и провалы.
- Sitemap и роботыКакая доля страниц карты сайта посещалась роботами и какие страницы они ни разу не открыли.
Где взять access.log
- nginx: обычно /var/log/nginx/access.log или файл, указанный в access_log настроек сайта.
- Apache: /var/log/apache2/access.log или /var/log/httpd/access_log.
- Хостинг: в панели управления — раздел «Логи», «Журналы» или «Статистика».
- Старые логи часто сжаты в .gz — их можно загружать без распаковки.
Нужен формат combined: IP, дата в квадратных скобках, запрос, код ответа и User-Agent в кавычках. Это формат по умолчанию у nginx и Apache.
Вопросы и ответы
Вы храните мой лог?
Нет. Файл разбирается сразу после загрузки и удаляется. В отчёте остаются только сводные цифры, адреса страниц и IP поддельных роботов — IP посетителей в отчёт не попадают.
Как понять, что Googlebot ненастоящий?
Настоящий Googlebot приходит только с адресов из официального списка Google, а настоящий робот Яндекса — с адресов, у которых обратная запись DNS в домене yandex.ru, yandex.net или yandex.com. Инструмент проверяет это сам и показывает число поддельных запросов.
За какой период нужен лог?
Хотя бы за 7 дней: робот обходит большинство страниц не каждый день. Для небольшого сайта хватит недели, для крупного лучше взять 2–4 недели и сжать файл в .gz.
Почему робот не заходит на часть страниц?
Обычно на них мало внутренних ссылок, они глубоко в структуре или закрыты в robots.txt. Добавьте ссылки с важных страниц, проверьте robots.txt и отправьте адреса на переобход в Вебмастере.
Это бесплатно?
Да. Без регистрации — до 10 анализов в день и файлы до 10 МБ, после регистрации — без ограничения по числу и файлы до 50 МБ.