层次化聚类实战：如何用AGG方法自动确定最佳K值

1次阅读

共计 2061 个字符，预计需要花费 6 分钟才能阅读完成。

层次化聚类（Hierarchical Clustering）是一种常用的无监督学习方法，它通过构建树状图（Dendrogram）来展示数据点之间的层次关系。与 K -means 等需要预先指定聚类数（K 值）的算法不同，层次化聚类可以提供多个层次的聚类结果。然而，如何从中选择最佳的 K 值仍然是一个挑战。

确定最佳 K 值的重要性不言而喻：K 值过小可能导致聚类过于粗糙，无法捕捉数据的细节；K 值过大则可能导致过拟合，使聚类结果失去意义。因此，自动确定最佳 K 值是层次化聚类中的一个关键问题。

在确定最佳 K 值时，常用的方法包括肘部法则（Elbow Method）、轮廓系数（Silhouette Score）等。以下是它们的优缺点对比：

肘部法则
优点：直观易懂，通过观察误差平方和（SSE）的拐点来确定 K 值。
缺点：拐点有时不明显，主观性强。
轮廓系数
优点：综合考虑了簇内的紧密度和簇间的分离度，结果更可靠。
缺点：计算复杂度较高，尤其是对于大规模数据集。
树状图切割
优点：直接利用层次化聚类的树状图结构，无需额外计算。
缺点：需要手动选择切割高度，可能不够自动化。

AGG（Agglomerative Hierarchical Clustering）是一种自底向上的层次化聚类方法。其核心思想是将每个数据点视为一个簇，然后逐步合并最相似的簇，直到所有数据点合并为一个簇。以下是实现步骤：

数据预处理：标准化数据，确保不同特征具有相同的尺度。
距离计算：选择合适的距离度量（如欧氏距离、余弦相似度等）。
构建树状图：通过递归合并最相似的簇，生成树状图。
确定 K 值：结合轮廓系数和树状图切割，选择最优的 K 值。

树状图的切割高度决定了聚类数。具体步骤如下：

计算不同切割高度对应的轮廓系数。
选择轮廓系数最大的切割高度，对应的 K 值即为最佳聚类数。
可视化树状图，辅助验证切割高度的合理性。

以下是一个完整的 Python 实现，使用 sklearn 库：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import AgglomerativeClustering
from sklearn.metrics import silhouette_score

# 示例数据
X = np.random.rand(100, 2)

# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 尝试不同的 K 值
k_values = range(2, 10)
silhouette_scores = []

for k in k_values:
    model = AgglomerativeClustering(n_clusters=k)
    labels = model.fit_predict(X_scaled)
    score = silhouette_score(X_scaled, labels)
    silhouette_scores.append(score)

# 绘制轮廓系数图
plt.plot(k_values, silhouette_scores, 'bo-')
plt.xlabel('Number of clusters (K)')
plt.ylabel('Silhouette Score')
plt.title('Silhouette Score for Different K Values')
plt.show()

# 选择最佳 K 值
best_k = k_values[np.argmax(silhouette_scores)]
print(f'Best K value: {best_k}')

AGG 算法的时间复杂度为 O(n³)，其中 n 是数据点的数量。对于大规模数据集，这可能成为性能瓶颈。内存消耗方面，AGG 需要存储一个距离矩阵，空间复杂度为 O(n²)。

为了优化性能，可以考虑以下方法：