Кластерный анализ

Базовой задачей, с которой маркетологи сталкиваются ежедневно является сегментация клиентов. Ее можно упростить с применением кластерного анализа – метода исследования, основанный на разделении объектов из массива на группы по заданным параметрам. В качестве критериев разделения могут выступать различные характеристики товаров, потребителей. Простейший пример кластеризации – разделение клиентов по уровню образования.

После того как разделение массива данных на группы было выполнено, выполняется их изучение. Предположим, что в результате анализа все потребители определенного бренда разделились на несколько групп. Одна группа клиентов покупает товар каждый месяц, другая – каждую неделю, а третья – раз в год. Маркетолог анализирует кластер и на основании проведенных исследований должен понять, как сделать так, чтобы люди из каждой группы покупали этот товар чаще.

Задачи кластерного анализа – группировка объектов. В качестве примера можно использовать данные посетителей интернет-магазина. В их профилях часто указывается возраст. Применение алгоритма кластерного анализа позволяет разделить посетителей на разные возрастные кластеры:

1. Младше 18 лет.
2. 18-25 лет.
3. 26-30 лет.
4. 31-40 лет.
5. 41-50 лет.
6. 50 лет и старше.

В дальнейшем использование этих кластеров позволяет проводить анализ: изучать такие клиентские данные, как:

1. Сумма покупок.
2. Количество покупок.
3. Время, проведенное в онлайн магазине.

Полученный кластер можно еще раз разделить на группы и выделить подкластеры. использование элементов кластеризации при проведении анализа может привести к тому, что один объект будет принадлежать к двум, трем и более разным кластерам в случае, если он будет обладать нужными критериями.

Разделение данных из массива на группы преследует 4 основные цели:

1. Понимание. Группировка информации позволяет понимать какие данные собраны. Это, в первую очередь, помогает при дальнейшей обработке. Разные кластеры могут исследоваться с использованием разных методов.
2. Выявление аномалий. После завершения кластеризации можно выявить отдельные объекты, которые не подходят ни под один из кластеров. Их изучение позволяет понять является ли кластеризация неправильной или выявить интересную аномалию.
3. Расширение. Когда собирается информация, может получиться так, что у каких-то объектов имеется больший набор признаков, чем у других. Если объединить их в кластеры по имеющимся признакам, то можно предположить, что данные с меньшим набором признаков обладают и теми признаками, что и данные с большими из того же кластера.
4. Сжатие. В случае, если объем данных слишком большой, его можно разбить на кластеры, усреднить характеристики и оставить для изучения один объект для каждого кластера.

В большинстве случаев кластеризация выступает не в качестве непосредственного анализа данных, а в качестве подготовительного этапа исследования.

В кластерном анализе используются методы объединения. Он проводится с применением различных инструментов методов. Их подбор зависит от: имеющихся данных, целей кластеризации, условий, в которых выполняется анализ.

Среди наиболее популярных методов анализа используются:

• Нисходящие алгоритмы – массив разделяется на крупные кластеры, а потом проводится их дальнейшее разделение внутри кластеров.
• Восходящие алгоритмы – метод, при котором каждый объект представляется в виде кластера, а после происходит их объединение до того момента, пока не будет достигнута требуемая степень дробления.
• Алгоритмы квадратичной ошибки – строятся на основании математического подхода. Применяется формула среднеквадратичной ошибки. Чаще всего для анализа этим методом является применение k-средних. С его помощью создается конкретное количество кластеров, которые максимально удалены друг от друга.
• Системы ИИ позволяют выполнить кластеризацию на основе нейросетей. Чаще всего такой метод используется в случаях, когда количество кластеров является неизвестным.
• Логический подход подразумевает разделение данных с использованием дерева решений.

Конечно, данные можно разбивать на группы вручную, если имеется понимание по какому признаку проводится деление. В качестве наиболее распространенного критерия выступает возраст.  

Сбор и хранение информации о клиентах позволяет эффективнее управлять бизнесом. Однако в случае, если потребуется выполнить анализ больших данных – вы обязательно столкнетесь с проблемой, которая будет заключаться в том, что просто невозможно изучить информацию о каждом клиенте отдельно (если их, конечно не 10 человек). Мозг просто не способен обработать большие объемы данных, при этом запомнить разные характеристики, относящиеся к определенному объекту. Да и в целом такой подход – непрактичен.

Именно поэтому требуется отыскать золотую середину, которая позволит анализировать все данные и сразу и в то же время изучать каждого клиента индивидуально. Именно поэтому разделение клиентов на группы позволяет понять, как эффективно взаимодействовать с разными типами потребителей.

Сегментация клиентов может выполняться по одному или сразу по нескольким признакам. В случаях, когда информации слишком много – используются алгоритмы машинного обучения.

Среди примеров использования кластеризации для маркетинговых исследований можно выделить:

1. Описание поведения потребителя – позволяет группировать клиентов на таких данных, как:

• глубина и частота просмотра сайта;
• частота и сумма покупок;
• товары, которые предпочитают покупать;
• поведение в жизни.

2. Покупательский путь:

• когда был куплен товар или услуга;
• кем совершалась покупка;
• магазин, в котором был куплен товар.

3. SEO – используется для анализа ключевых слов, их разделения по рейтингу, частоте, релевантности и т.д.

Маркетологи применяют анализ для достижения различных целей:

• настройка и запуск ретаркетинга, ремаркетинга;
• корректировка рекламных объявлений и маркетинговых сообщений;
• персонализация продукта на основании клиентских потребностей.

Сегментация – ключевая задача, которую выполняет кластер анализ. Разделение и группировка объектов в массивах данных может выполняться и вручную, однако именно кластерные анализы данных дает возможность обрабатывать большие объемы информации. «Метрика» и «Analytics» имеют встроенные функции ручной сегментации, которые позволяют обозначить интересующие источники трафика и выполнить исследование.

Проблема заключается в ограничениях сегментов. Они удобны только в тех случаях, если количество клиентов – небольшое. В случаях же, когда количество информации разрастается, ее становится тяжело обрабатывать. Приходится держать в голове данные о большом количестве сегментов, которые составлены по сотням и даже тысячам параметров.

Использование кластерного анализа в этом случае просто необходимо. Различные автоматизированные системы в состоянии сами выполнить сегментацию, а маркетологу остается только выполнить анализ кластеризации. Автоматизированные системы позволяют высвободить ресурсы, могут анализировать данные по гораздо большему набору параметров, чем человек.

При использовании этого инструмента результат непредсказуем. Машинное обучение в нем применяется для того, чтобы в массиве данных образовались естественные структуры.

Объяснить это можно на простом примере. Допустим, вы занимаетесь производством худи. При этом требуется подгонять свою продукцию по фигуре клиентов. У вас имеется данные, касающиеся роста и веса какого-то количества клиентов. Можно на основании этих данных построить график, ось абсцисс в котором будет указывать на вес, а ординат – на рост. Это позволит выполнить расположение клиентов на графике.

Алгоритмы кластеризации поступают точно так же. Ими выстраивается график, на котором точками обозначены клиенты, на основании имеющихся данных. После этого выполняется расчет расстояния между парами точек. Основой такого расчета является теорема Пифагора, которая позволяет найти расстояние между точками на основании их значений.

После проведения расчетов, алгоритмы способны выявить схожесть между точками. Меньшее расстояние между точками напрямую указывает на большую схожесть и наоборот. В результате этого точки образуют группы – кластеры. Кластер объединяет клиентов с похожим ростом и весом. С помощью алгоритма окрашиваются кластеры в разные цвета, чтобы визуально было проще воспринимать информацию.

В случае, если переменных всего 2, группировка может показаться простым процессом. Однако добавление дополнительных переменных может в разы усложнить процесс анализа. В этом случае удобнее всего применять алгоритм k-средних. Его использование позволяет разделить массив на кластеры на основании пяти, десяти и более признаков. Его смысл заключается в том, что выполнять кластеризацию нужно не один раз.

Применение алгоритма позволяет выделить определенное количество групп путем множественного подхода. При первой итерации алгоритм позволяет найти две удаленные друг от друга точки и сформировать кластеры вокруг них. В следующих итерациях берутся другие точки и строятся новые группы. На основании этого строятся группы, у которых средние значения являются наиболее близкими. Группировка завершается в случае, если после очередной итерации кластеры не претерпевают изменения.

Но как маркетолог участвует в этом процессе? Его роль заключается в выборе переменных – показателей, которые позволяют сформировать кластеры. Это может быть все те же «рост» и «вес», но они могут дополняться такими критериями, как «доход», «цена», «возраст клиента». В задачи маркетолога входит описание полученных кластеров. Маркетолог может добавлять и убирать переменные, чтобы оценить осмысленность создания кластеров.

На предварительном этапе кластеризации необходимо выполнить три шага:

1. Подготовка данных – требуется убедиться, что имеются все необходимые сведения. В первую очередь информация должна быть децентрализованной.
2. Перевод данных в цифры. Для подсчета расстояния между точками их нужно преобразовать в цифровое выражение. Например, Красноярский край – 24, Москва – 495 и т.д.
3. Объединить данные в хранилище. Этот шаг облегчает работу с ними, но не является обязательным.

Кроме того, может потребоваться выполнить преобразование данных, если они представляются в разных единицах измерения. Стандартизацию информации можно выполнить, например, таким образом, чтобы все данные входили в диапазон от 0 до 1.

После того, как была проведена обработка данных, можно начать использование алгоритма. Это может быть:

• программный метод, может использоваться для кластеризации на языках R или Python;
• использование специализированных аналитических сервисов;
• работа непосредственно в хранилище данных;
• использование Excel и ручной подсчет – метод подходит для обработки небольшого числа информации.

Алгоритм кластеризации может содержать большое количество переменных, однако использование всего 2 переменных позволит получить достаточно информативный результат.

Характеристики кластерного анализа не позволяют выбирать его в качестве универсального инструмента. У него есть свои плюсы и минусы, которые позволяют оценить целесообразность использования инструмента.

Плюсы:

• простота интерпретирования и визуализации данных;
• легкость масштабирования;
• динамичность системы – изменение данных, добавление новых переменных изменяет кластеры.

Минусы:

• использование разных методов может приводить к созданию разных кластеров;
• применение алгоритма k-средних требует изначально определить количество конечных кластеров;
• требуется тщательная подготовка данных перед началом анализа.

Кластеризация – простой, но эффективный инструмент, который подходит для любой деятельности, подразумевающей деление данных на группы. Небольшие объёмы информации можно обработать и без кластеризации. Элементы кластеризации при проведении анализа могут изучаться отдельно от всего массива. Чем более детализированы данные, тем более точной получится кластеризация. Кластерный подход к анализу данных хорош тогда, когда требуется обработать и визуализировать большие объёмы информации.