Индексация в поисковых системах

Для того чтобы сайт попал в результаты выдачи поисковой системы, необходимо, чтобы он был проиндексирован. Для этого запускаются поисковые роботы, которые переходят по различным ссылкам, постепенно внося новые сайты в специальный индекс.

В нем регистрируются не все сайты, а только те, которые робот посчитает несущими полезную информацию. Важно отличать рассматриваемую процедуру от ранжирования, которое определяет место в поисковой выдаче. На этом этапе страницу только заносят в соответствующую базу данных, но не оценивают ее.

Поисковой робот приходит по выбранному им адресу и читает файл robots.txt. Если в нем нет запрета индексировать страницу, то он проводит эту процедуру. Алгоритм его работы состоит в следующем:

• перед просмотром страницы он удаляет из рассмотрения не текстовую информацию;
• робот создает список лексем и запоминает их положение на странице;
• проводится упорядочивание лексем;
• в базу данных вносится список запросов лексем вместе с указанием страницы и положения внутри нее.

Все полученные таким образом данные вносятся в индекс.

Если предстоит заняться продвижением сайта, то первым шагом на этом пути является прохождение индексирования. Иногда этого приходится ждать достаточно долго. Индексацию получают следующими способами.

1. Самый простой, но долгий состоит в том, что ее ждут, ничего не предпринимая.
2. Можно оставить ссылку на свою страницу на каком-либо популярном сайте. В этом случае индексация может произойти быстро. Сложность состоит в том, что иногда на сайтах не разрешают оставлять такие ссылки или делают из этого платную услугу.
3. В большинстве крупных поисковых систем имеются сервисы для вебмастеров, где предусмотрена возможность самостоятельно предложить сайт для индексации.

Существуют способы вызвать интерес роботов к своей странице. Увеличить шансы на посещение можно следующими способами:

• чаще публиковать уникальный контент;
• использовать специальные программы, называемые ловцами ботов, которые в автоматическом режиме предлагают им нужные ссылки;
• открыть те страницы, которые ранее были закрыты от индексирования.

Нужно учитывать, что робот приходит не на весь сайт, а на отдельную страницу. Возможна ситуация, когда часть страниц будет проиндексирована, а другая – нет. Если связать ссылками свои страницы друг с другом, то шансы на полный охват сайта увеличатся.

Запрет будет носить рекомендательный характер. Если поисковая система решит, что страницу нужно проиндексировать обязательно, робот это сделает, несмотря на запрет. Но такую задачу скорее можно рассматривать не в качестве правила, а как исключение.

Для запрета индексирования можно сделать следующее:

1. Добавить HTTP заголовок «X-Robots-Tag: noindex».
2. Поместить в верхней части HTML файла текст «<meta name="robots" content="noindex" />».

Обычно запрещают индексировать в тех случаях, когда страница находится еще в разработке или тогда, когда ее содержание носит конфиденциальный характер. Примером последней ситуации могут быть личные кабинеты пользователей.

Иногда бывает так, что индексация не была запрещена, но робот все равно не приходит. Это может произойти по следующим причинам:

• в тексте страницы есть тег rel="canonical", относящийся к другой странице сайта;
• ответ сервера при попытке перехода на страницу говорит об ошибках 4ХХ или 5ХХ;
• на странице имеется неуникальный контент;
• сайт находится под фильтром системы поиска, и у него не все страницы проиндексированы.

В этой ситуации нужно разобраться в том, какие причины привели к проблеме, и устранить ее.

Осуществить проверку можно, попытавшись найти свой сайт с использованием системы поиска. Для этого достаточно написать в соответствующем поле ссылку. Если сайт есть в результатах поиска, то это означает, что индексация произошла.

Также можно воспользоваться оператором «site:», после которого нужно написать соответствующую ссылку. Если ввести этот текст в поисковую строку, то должен быть показан контент, соответствующий ссылке.

При проверке имеет смысл узнать об индексации всех страниц своего сайта. Если воспользоваться указанными способами, то можно получить информацию о каждой из них.

В сервисе Google для вебмастеров под названием Search Console для этой цели можно посмотреть статус сайта.

Проверить свои страницы. Есть ли страницы в индексе Яндекса и Google, покажет проверка индекса, а не закрыта ли страница от индексации через robots.txt, noindex или canonical — проверка индексации.