Что такое кластеризация

Кластерный анализ - это метод анализа объекта путем разделения его на группы в соответствии с важными критериями. Простой пример - ассортимент продуктов в супермаркете, каждый из которых обозначен как "овощи", "мясо" и "крупы". Говядина не входит в одну группу с гречкой, потому что это мясо, а не крупа. Организация предмета в группы называется кластеризацией.

Группы (или сегменты), полученные в результате кластеризации, анализируются. Предположим, что алгоритм анализа выявил несколько групп покупателей. В одну из них входят люди, которые покупают продукт 20 раз в год, в другую - те, кто покупает продукт раз в год. Маркетологи могут проанализировать эту группу и придумать, как заставить людей из нее приобретать товар чаще.

Задача классификации заключается в восстановлении отображения от набора объектов к конечному набору меток классов. В этом случае классы предопределены, т.е. изначально существует приблизительное понимание того, какие объекты должны принадлежать каждому из них, и имеется обучающая выборка, содержащая экземпляры объектов и классы, к которым они принадлежат. В базовом направлении кластеризации объекты расслаиваются на конечное множество классов, но нет обучающего примера или определения их природы. Тот факт, что модель кластеризации считает некоторые объекты "похожими" и относит их к какому-либо классу, является "открытием", сделанным моделью, и представляет собой новое знание. Также не существует обучающего примера. Ведь невозможно заранее знать, какие классы (а иногда и их количество) будут получены. Поэтому кластеризация - это задача обучения без наблюдения. Из-за общей схожести постановки задачи в литературе кластеризацию иногда также называют классификацией без наблюдения.

Кластеризация отличается от классификации тем, что нормативы для кластеризации устанавливаются людьми, а не алгоритмами. Этот способ автоматизированного обучения часто применяется к различным неструктурированным информационным массивам, например, для автоматической сортировки коллекции изображений на мини-группы по расцветкам.

Кластерный анализ используется в различных областях.

• Маркетинг - используется для сегментации потребителей, сегментации конкурентов и исследования рынка.
• Медицина - применяется для кластеризации симптомов, заболеваний и лекарств.
• Биология - используется для классификации животных и растений.  
• Социология - применяется для классификации респондентов в однородные группы.
• Информатика - используется для кластеризации результатов поиска, таких как веб-сайты и файлы.

Иерархические установки (также известные как установки таксономии) создают систему интегрированных разделов вместо расслоения выборки на непересекающиеся кластеры. Поэтому на выходе получается дерево кластеров, корнем которого считается полноценная выборка, а листьями - самые маленькие кластеры. Плоский алгоритм создает единый раздел, который разбивает объекты на множества.

Нечеткие (или непересекающиеся) алгоритмы присваивают номер кластера конкретному объекту в выборке. Это означает, что фиксированный объект принадлежит только к одному кластеру. Нечеткие алгоритмы сопоставляют каждый объект с набором реальных значений, которые указывают на степень принадлежности объекта к кластеру. Другими словами, каждый объект принадлежит к каждому кластеру с определенной вероятностью.

Изучая векторы и матрицы, становится ясно, что данные можно сравнивать (оценивать сходство), измеряя расстояние между векторами данных. Кластерный анализ - это именно такая техника. Он измеряет расстояние между точками и на основании этого определяет, к какому кластеру принадлежит данное наблюдение.

Поскольку производительность алгоритма кластеризации в определенной степени зависит от установленных критериев, предусмотрено множество различных алгоритмов кластеризации. Наиболее распространенный алгоритм называется k-means. К сожалению, он применим только к числовым данным. В отличие от него, алгоритм кластеризации, представленный в данной статье, основан на методе наивного байесовского вывода, который работает как с категориальными, так и с числовыми данными.

Чтобы отличить алгоритм и его реализацию от других методов кластеризации, специалисты именуют его Итеративной агломеративной кластеризацией по наивному байесовскому выводу. Наивный байесовский вывод - это очень распространенный метод классификации данных, но мало кто понимает, что он также может быть применен к кластеризации в целом.

Не предусмотрено базово "корректного" алгоритма кластеризации. Если нет математических причин предпочесть одну модель кластеризации другой, алгоритм кластеризации, наиболее подходящий для конкретной задачи, обычно выбирается эмпирически. Алгоритмы, используемые для одного типа модели, часто не работают для другого, включая совершенно разные виды классификаций. Например, k-means не может найти нечеткие кластеры.

Маркетинг и продажи - два примера применения кластерного анализа. В частности, для прогнозирования будущего покупательского поведения, то есть персонализации и таргетинга. Кластерный анализ использует математические модели для поиска групп похожих покупателей на основе наименьших различий между каждой группой покупателей.

Решение проблемы кластеризации является принципиально неопределенным по нескольким причинам.

• Не существует единого наилучшего критерия качества кластеров. Присутствует набор эвристических критериев и набор алгоритмов, которые не имеют четких параметров, но "по конструкции" выполняют разумную кластеризацию. Все они могут давать разные результаты.
• Количество кластеров обычно не известно заранее и определяется по субъективным критериям.
• Результаты кластеризации сильно зависят от метрики, выбор которой также часто субъективен и определяется экспертами.

В частности, состав и количество кластеров зависит от выбранного критерия разбиения. При приведении исходного набора данных к более компактной форме могут возникнуть определенные искажения, а индивидуальные свойства отдельных объектов могут быть утрачены, поскольку они заменяются свойствами базовых показателей параметров кластера. При приведении к классификации объектов нередко игнорируется возможность того, что значения кластера не присутствуют в рассматриваемой популяции.

Иерархические алгоритмы включают:

• Агломеративный (в порядке возрастания).
• Сегментированный (сверху вниз).

В первом случае каждый объект сначала помещается в отдельный кластер. Затем они объединяются, пока все не окажутся в одной группе.

Второй работает по противоположному принципу. Первоначально все объекты находятся в одной группе. Затем они постепенно разделяются, каждый из них образует свой собственный кластер.

Иерархические алгоритмы визуально представлены дендрограммами. Эти диаграммы показывают порядок, в котором объекты объединяются или разделяются.

Кроме того, данные могут быть не только очень объемными (например, "высокие" таблицы, содержащие тысячи наблюдений), но и многомерными, то есть содержать информацию о многих атрибутах идентифицированных объектов. Эти атрибуты могут быть неоднородными, например, качественными, количественными, с отсутствующими значениями и т.д. Кроме того, при визуализации информации три показателя наблюдения должны быть связаны с точкой в трехмерном пространстве. N параметров уже приводят нас к N-мерному пространству. N в этом случае, как обычно, стремится к бесконечности, и логические и навигационные способности, присущие трехмерным людям, быстро теряют смысл.

Большое преимущество кластерного анализа заключается в том, что объект можно разделить по набору свойств, а не по одному параметру. Кроме того, в отличие от многих математических и статистических методов, кластерный анализ не ограничен типом объекта и поэтому может рассматривать исходные наборы данных практически произвольной природы. Это имеет важные последствия, например, для определения экономических условий при наличии разнородных показателей, что затрудняет применение традиционных эконометрических подходов.

Алгоритм K-Means очень прост в реализации и эффективен в вычислениях. Это является основной причиной его популярности. Однако он не очень хорошо определяет классы, когда имеет дело с группами, не имеющими глобального распределения.

Алгоритм K-Means нацелен на поиск и классификацию точек данных, которые имеют высокую степень сходства между собой. Алгоритмически это сходство понимается как обратная величина расстояния между точками. Чем ближе точки, тем больше они похожи и тем больше вероятность того, что они принадлежат к одному кластеру.

Алгоритм k-means - это несложная итеративная установка кластеризации, которая разбивает набор данных на k кластеров. По сути, алгоритм функционирует путем перечисления в два этапа:

1. Кластеризация всех точек информационного массива на основе расстояния между точкой и ближайшим показателем кластера;
2. Повторная оценка представителей кластера.

Лимиты алгоритма k-means включают инициализацию и фиксацию значения k. Несмотря на все свои недостатки, k-means фиксируется максимально широко эксплуатируемым на практике алгоритмом кластеризации. Алгоритм весьма прост, понятен и масштабируем, его можно легко трансформировать для решения различных задач, таких как контролируемое частичное обучение и потоковая обработка информации. Постоянное совершенствование и обобщение базового алгоритма гарантирует постепенное повышение его актуальности и эффективности.