Clam聚类实战：解决高维稀疏数据聚类难题的工程实践

1次阅读

共计 1470 个字符，预计需要花费 4 分钟才能阅读完成。

遇到用户行为日志或 TF-IDF 文本特征时，K-means 和 DBSCAN 常常表现不佳：

余弦距离失效：高维空间中所有向量趋向正交，导致距离计算失去区分度
内存爆炸：稠密距离矩阵存储消耗 O(n²) 空间，百万级数据直接 OOM
参数敏感：DBSCAN 的 ε 半径在稀疏空间难以直观设定

维度	K-means	DBSCAN	Clam
时间复杂度	O(nkt)	O(n log n)	O(n log n)
内存占用	低	中	低
参数敏感度	高 (k 值)	极高 (ε,minPts)	中 (ε)
稀疏数据适应	差	一般	优

密度计算采用自适应核函数：

$$
\rho(x_i) = \sum_{j=1}^n \exp\left(-\frac{d(x_i,x_j)^2}{\sigma_i\sigma_j}\right)
$$

其中 $\sigma_i$ 是 $x_i$ 到第 k 近邻的距离，实现局部密度自适应。

from scipy.sparse import csr_matrix
from sklearn.neighbors import NearestNeighbors

class ClamCluster:
    def __init__(self, eps=0.5, min_samples=5):
        self.eps = eps
        self.min_samples = min_samples

    def fit(self, X: csr_matrix):
        # 稀疏矩阵优化过的 kNN 查询
        nbrs = NearestNeighbors(n_neighbors=30, metric='cosine', 
                               algorithm='brute').fit(X)
        distances, indices = nbrs.kneighbors(X)

        # 自适应带宽计算
        sigmas = distances[:,-1]  # 取第 k 近邻距离

        # 密度计算（利用稀疏矩阵避免全距离矩阵）rhos = []
        for i in range(X.shape[0]):
            mask = distances[i] < self.eps
            local_dists = distances[i,mask]
            weights = np.exp(-(local_dists**2)/(sigmas[i]*sigmas[indices[i,mask]]))
            rhos.append(weights.sum())
        self.rhos_ = np.array(rhos)

        # 后续聚类逻辑...