Структура поисковых систем

Когда Интернет только зарождался, а интернет-пространство только начинало наполняться информацией, особой нужды в поисковых системах не было. Однако по мере развития информационного поля стало понятно, что запросы пользователей нужно удовлетворять как можно быстрее. А это уже становилось невозможным, поскольку информация не была систематизирована под формирование ссылок.

Первым подобием современной поисковой системы стал Yahoo-каталог. Поиск информации, которую разработчики попытались систематизировать по тематике, сводился к нахождению необходимого раздела. В нем были сгруппированы ссылки, ведущие на нужные пользователю ресурсы. Произошло это в 1994 году, и принцип работы данной программы не имел особого отношения к работе действующим сегодня поисковым системам.

Чуть позднее появилась поисковые системы WebCrawler, AltaVista и Lycos, которые уже работали с запросами пользователей. Чтобы получить ссылку на необходимую страницу, нужно было ввести в поисковик вопрос, который бы максимально соответствовал словам или словосочетаниям, присутствовавшим в тексте. Не секрет, что при таком подходе эффективность программного обеспечения была довольно низкой. Приходилось либо по нескольку раз менять формулировку запроса, чтобы получить нужную информацию, либо просматривать десятки сайтов в ее поисках. Одновременно появилось такое понятие, как продвижение сайтов. А сами тексты, размещенные на онлайн ресурсах, стали изобиловать ключевыми фразами, и часто принимали нечитабельный вид.

В 1997 году на рынке появилась поисковая система Google, которая в настоящее время имеет доступ к 25 миллиардам страниц в интернет-пространстве, и обрабатывает до 70% запросов пользователей в мире. Более того, ее разработчики – Сергей Брин вместе с Ларри Пейдж в начале 2000-х годов пришли к выводу, что поисковые запросы на базе точных вхождений ключевых фраз уже неэффективны. Пользователи хотят видеть полезную информацию, написанную человеческим языком, а не призывы приобрести товар именно у этого поставщика, связанные бессмысленными фразами.

Итогом стало появление поискового механизма, направленного на поиск не заданных ключевых фраз, а осмысленных и полезных в той или иной области текстов. Позднее началась борьба и с переспамом, лидирующие позиции в которой занимает Яндекс, самый популярный поисковик в России.

В настоящее время к популярным системам поиска относят Google, Bing, Baidu, Яндекс, DuckDuckGo. В России список отличается. В него входят: Яндекс, Google, поиск.Mail.ru. Несмотря на значительные различия в использовании алгоритмов обработки поисковых запросов, общий принцип работы схож.

Все системы поиска включают:

• Базы данных. Чем она обширнее и затрагивает как можно большую часть информации, относящейся к разным областям жизни человека, тем выше шанс получить искомый результат.
• Непосредственно серверы, которые являются связующим звеном между пользователем и поисковыми системами, какими бы они не были. Коммерческими, рекламными или информационными.
• Модули индексирования с программами, которые и занимаются поиском, обработкой и сбором информации.

Что же нужно знать разработчикам сайтов и их владельцам о структуре и принципах работы поисковых машин, чтобы именно их страницы попадали на лидирующие позиции в поисковиках? В России самые популярные поисковики расположены на ресурсах Яндекс и Google. Следовательно, и продвигать сайты стоит на этих системах. Желательно используя национальные домены.

Например, запрос «купить подарок ребенку к Новому году», который идет от пользователя, попадает на сервер, где подвергается первичному морфологическому анализу. На основании его формируется общая тематика текста. В данном случае это будут слова: подарок, ребенок, зимняя тема, Новый год, цена, купить, описание товара и его характеристики, список продавцов.

Далее сформированная информация передается в модуль индексирования, где в общей сложности работают две программы-паука и один робот индексатор.

1. «Spider» или «Паук» изучает веб-страницы, выделяет те, которые соответствует переданному запросу, скачивает их. Одновременно он анализирует ссылки, как ведущие на скачанные сайты, так и исходящие с него анкеры. Это позволяет избежать дублирования страниц.
2. Скачанные страницы сохраняются в базе. К каждой из них прилагается такая информация, как: URL, дата, скачивание страницы, заголовок http-ответа сервера и html-код, «тела» страницы скаченной страницы.
3. В таком виде «Crawler» или «путешествующий» паук получает входящий поисковый запрос. Данная программа заходит на все предоставленные ей ссылки и выделяет ключевые запросы. Также данный алгоритм ищет новые страницы, неизвестные поисковым машинам.
4. Затем список страниц попадает в «Indexer» или «робот-индексатор» модуля индексирования. Программа подробно изучает полученный по ссылкам материал на предмет его полезности для пользователя и качества его подачи. Анализируются заголовки, сам текст, ссылки, стилевые и структурные особенности, теги html.

После анализа информация о ссылках и возможно полезных страницах передается на сервер, где она еще раз обрабатывается и производится ранжирование ссылок. Именно на этом этапе становится понятно, попадет ли страница на топовые позиции в рейтинге.

Затем формируется «Сниппет». В нем отображается адрес страницы, заголовок статьи и аннотация к ней. Также программа подсвечивает слова из поискового запроса, которые совпадают со словоформами в теле текста. Отмечаются слова из запроса, которые не попали в поле зрения программы.

В итоге пользователь видит список из документов, предлагающих ему купить подарок. Чтобы страница попала на лидирующие позиции в системе, в тексте должно быть описание товара и призыв «купить». При отсутствии описания и характеристик потенциальный покупатель не сможет понять, подходит ли ему данный товар, и поисковая система наверняка не выведет предложение владельца бизнеса в ТОП-10. При отсутствии слов «купить» или «цена» велика вероятность попасть на посадочную страницу с общей информацией о товаре. И если один догадается перейти по ссылкам на сайте, то другой уйдет на сторонний ресурс. А ведь от времени, проведенного клиентом на сайте и факта совершения им покупки, будет в дальнейшем зависеть рейтинг веб-страницы.

Ранжирование или, проще говоря, рейтинг – это последовательность, с которой страницы включаются в список после осуществления пользователем поискового запроса в системе. Чем выше рейтинг или ранг предлагаемого материала, тем с большей вероятностью он попадет на первые позиции. А значит, выше и шансы, что клиент воспользуется именно этим сайтом для получения необходимой информации, совершения покупки или заказа услуги. Выделяют два вида ранжирования: внутреннее и внешнее.

Внутренние принципы ранжирования

К внутренним принципам ранжирования относят факторы, которые зависят от владельца сайтов и нанятых им специалистов по их разработке. Отмечают:

• Оптимальный объем информации на странице. Если речь идет об интернет-магазине, то лучше разбить сайт на страницы по производителю, назначению товара, целевой аудитории, сезонности. И ограничиться информативными, но небольшими текстами в 1000-1500 знаков. Если же нужен текст на посадочную страницу, например описывающий группу товаров, то возможно увеличение объема до 5000-7000 знаков. Главное, чтобы он был уникальным, отформатированным, полезным для пользователя и читабельным. Большие объемы характерны для информационных материалов. Но и здесь стоит помнить, что воспринимать такие тексты довольно сложно. Значит нужно постоянно поддерживать интерес пользователя.
• Количество и плотность ключевых фраз. Считается, что оптимальная плотность ключевиков для пользователя 4-5%. Она может быть несколько выше или ниже в зависимости от тематики текста, его объема, типа подающейся информации. Стоит лишь помнить, что времена поискового ранжирования страниц по ключевым словам прошли. Алгоритмы чаще оценивают качество и информативность предлагаемого контента.
• Наличие ключевых слов в «Title» и «Description». Именно они попадают в «Сниппет» и помогают пользователю понять, соответствует ли предлагаемая поисковой системой информация сделанному запросу.
• Стилистика каждой страницы должна соответствовать общей тематике сайта. Также, как и любые ссылки, фото и видеоматериалы. Последние, естественно, должны быть хорошего качества.

Продвинуть сайт за счет внутренних факторов можно самостоятельно. Для этого необходимо провести его анализ, удалить пустые, дублирующие или неактуальные страницы, проанализировать контент и при необходимости актуализировать его в соответствии с требованиями действующей поисковой системы.

Внешние принципы ранжирования

Внешние факторы, влияющие на популярность сайта в интернет-системе – это факторы, которые поддерживают взаимодействие между различными информационными ресурсами, например:

1. Индекс цитирования является числовым показателем, который отражает, сколько раз за определенное время было сделано ссылок на страницы сайта сторонними интернет-ресурсами. Он более актуален для информационных материалов. Яркий пример – Википедия, изобилующая ссылками. Таким образом, чем чаще на ее странице можно будет увидеть сноски на материалы продвигаемого сайта, тем выше у него шансы попасть на топовые позиции в поисковой системе.
2. Релевантность и посещаемость ссылающихся страниц. Проще говоря, популярность и посещаемость страниц, с которых делаются ссылки на сайт. Если исходный источник имеет низкий рейтинг, то вероятность таким образом продвинуть веб-ресурс очень мала.
3. Добавление информации о сайте в доступные каталоги общего назначения. Например, DMOZ или Яндекса. Пусть сегодня не все любят такой подход к поиску информации. Но если необходимы узкоспециализированные данные, это то, что нужно. Поскольку не всегда поисковики могут ответить на низкочастотные запросы.

Однако мало продвинуть сайт на лидирующие позиции, важно закрепиться на достигнутом результате. Ведь алгоритмы поискового продвижения регулярно меняются. Впрочем, как и запросы пользователей в системе.

Фильтры, применяемые поисковыми системами к сайтам

Как говорилось выше, сегодня востребованы информативные тексты, написанные понятным языком. А не набор ключевых фраз, среди которых сложно уловить смысл статьи. И тем более получить достоверную и полезную информацию. Поэтому система поиска запускает алгоритмы или фильтры, которые позволяют отсеивать некоторые тексты и сайты:

• АГС исключает переспамленные сайты.
• Непот-фильтр работает с сайтами, на которые ведет большое количество ссылок с различных интернет-ресурсов.
• Редирект фильтр ищет и наказывает сайты за применение javascript редиректов или купленных у сторонних источников конкурентоспособных ключевых фраз и слов.
• Фильтр плотности ключевых слов рассчитывает оптимальную плотность ключей на сайте. При систематическом ее превышении ресурс в целом или его страница может быть отправлена в бан.
• Фильтр “Ты последний” служит для обнаружения дублирующих страниц.

В любом случае наложение фильтров на сайт приводит к последствиям. Это и снижение его рейтинга в поисковиках, и невозможность отображения определенных страниц, и простое помещение в бан с невозможностью продолжения работы до исправления допущенных нарушений.

Зная структуру и принцип работы поискового продвижения, владелец сайта может самостоятельно контролировать размещаемый контент, подбор ключевых запросов и фраз, группировку информации, товаров или услуг по страницам. А также при необходимости корректировать работу копирайтера или веб-дизайнера.