如何用Calinski-Harabasz指数确定最佳聚类数目：原理与实践指南

1次阅读

共计 1709 个字符，预计需要花费 5 分钟才能阅读完成。

在无监督学习中，聚类分析是一种常用的技术，用于将相似的数据点分组。然而，一个常见的问题是：如何确定最佳的聚类数目（k 值）？主观选择 k 值可能导致结果偏差，因此需要客观的评估指标。本文将介绍 Calinski-Harabasz（CH）指数，一种数据驱动的聚类数目选择方法，帮助提升聚类分析的客观性和可解释性。

Calinski-Harabasz 指数通过测量簇内离散度与簇间离散度的比值来评估聚类质量。其数学表达式如下：

$$
CH(k) = \frac{B(k) / (k-1)}{W(k) / (n-k)}
$$

其中：
– (B(k) ) 是簇间离散度（簇中心与全局中心之间的平方距离之和）
– (W(k) ) 是簇内离散度（数据点与其簇中心之间的平方距离之和）
– (k) 是聚类数目
– (n) 是样本总数

CH 指数的值越大，表示聚类效果越好。

肘部法 ：通过观察簇内误差平方和（SSE）随 k 值变化的“拐点”来确定最佳 k 值。缺点是依赖主观判断，缺乏定量指标。
轮廓系数 ：衡量每个样本的簇内距离与最近簇距离的比值。计算复杂度较高，适用于小规模数据。
CH 指数 ：计算高效，适合大规模数据，但对非凸形簇的识别能力有限。

以下是使用 scikit-learn 计算 CH 指数的完整代码示例：

from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import calinski_harabasz_score
import matplotlib.pyplot as plt

# 生成模拟数据
X, _ = make_blobs(n_samples=500, centers=4, cluster_std=1.0, random_state=42)

# 尝试不同的 k 值
k_values = range(2, 10)
ch_scores = []

for k in k_values:
    kmeans = KMeans(n_clusters=k, random_state=42)
    labels = kmeans.fit_predict(X)
    ch_score = calinski_harabasz_score(X, labels)
    ch_scores.append(ch_score)

# 可视化结果
plt.plot(k_values, ch_scores, marker='o')
plt.xlabel('Number of clusters (k)')
plt.ylabel('Calinski-Harabasz Score')
plt.title('CH Score vs. Number of Clusters')
plt.show()

在上述代码中，我们生成了一个包含 4 个簇的模拟数据集。通过计算不同 k 值下的 CH 指数，可以观察到当 k = 4 时，CH 指数达到峰值，这与真实簇数一致。