如何通过agg层次化聚类确定最佳k值：从原理到实践

1次阅读

共计 2346 个字符，预计需要花费 6 分钟才能阅读完成。

层次化聚类（Hierarchical Clustering）是一种通过构建树状结构（树状图）来展示数据点之间关系的聚类方法。与 K -means 等划分式聚类不同，层次化聚类不需要预先指定聚类数量，而是通过自底向上（凝聚式）或自顶向下（分裂式）的方式逐步合并或拆分簇。

凝聚式（Agglomerative）：从单个数据点开始，逐步合并最相似的簇，直到所有点合并为一个簇。
分裂式（Divisive）：从所有数据点为一个簇开始，逐步分裂为更小的簇，直到每个点为一个簇。

层次化聚类的优势在于：

不需要预先指定聚类数量（k 值）。
通过树状图直观展示数据层次结构。
适用于小规模数据集，结果易于解释。

在层次化聚类中，确定最佳 k 值（聚类数量）是一个关键问题。传统方法如肘部法则（Elbow Method）或轮廓系数（Silhouette Score）虽然常用，但存在以下局限性：

肘部法则主观性强 ：依赖人工观察拐点，缺乏客观标准。
轮廓系数计算量大 ：对于大规模数据集，计算所有可能的 k 值轮廓系数耗时较长。
忽略层次结构 ：传统方法未充分利用层次化聚类生成的树状图信息。

轮廓系数衡量了数据点与同簇和其他簇的相似度，取值范围为 [-1, 1]，值越大表示聚类效果越好。

步骤：
对不同的 k 值计算轮廓系数。
选择轮廓系数最大的 k 值作为最佳聚类数量。

树状图切割是一种基于层次化聚类树状结构的方法，通过切割树状图的高度（距离阈值）来确定 k 值。

步骤：
绘制树状图（Dendrogram）。
观察树状图的垂直高度，选择合适的高度切割线。
切割线相交的簇数量即为最佳 k 值。

以下是使用 scikit-learn 实现 agg 层次化聚类并确定最佳 k 值的完整代码：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import AgglomerativeClustering
from sklearn.metrics import silhouette_score
from scipy.cluster.hierarchy import dendrogram, linkage

# 生成示例数据
np.random.seed(42)
X = np.random.randn(100, 2)

# 层次化聚类
linked = linkage(X, method='ward')

# 绘制树状图
plt.figure(figsize=(10, 7))
dendrogram(linked, orientation='top', distance_sort='descending', show_leaf_counts=True)
plt.title('Dendrogram')
plt.xlabel('Sample Index')
plt.ylabel('Distance')
plt.show()

# 基于轮廓系数确定最佳 k 值
k_range = range(2, 10)
silhouette_scores = []

for k in k_range:
    clusterer = AgglomerativeClustering(n_clusters=k, affinity='euclidean', linkage='ward')
    cluster_labels = clusterer.fit_predict(X)
    silhouette_avg = silhouette_score(X, cluster_labels)
    silhouette_scores.append(silhouette_avg)

# 绘制轮廓系数图
plt.figure(figsize=(10, 7))
plt.plot(k_range, silhouette_scores, marker='o')
plt.xlabel('Number of Clusters (k)')
plt.ylabel('Silhouette Score')
plt.title('Silhouette Score for Different k Values')
plt.show()

# 选择最佳 k 值
best_k = k_range[np.argmax(silhouette_scores)]
print(f'Best k value based on Silhouette Score: {best_k}')

我们在多个数据集上对比了轮廓系数和树状图切割方法的性能：