AI聚类算法实验：从原理到工程落地的关键技术解析

1次阅读

共计 2001 个字符，预计需要花费 6 分钟才能阅读完成。

在电商用户行为分析中，我们常需根据用户的浏览、购买、停留时长等特征，将用户划分为高价值、潜力、流失等群体。某头部电商平台通过 K -means 聚类发现，仅占 12% 的高价值用户贡献了 68% 的 GMV，据此优化了定向促销策略，使得 ROI 提升 2.3 倍。

金融风控领域同样依赖聚类算法。某银行采用 DBSCAN 对交易数据进行异常检测，成功识别出传统规则引擎遗漏的 0.7% 的欺诈模式，这些模式表现为多账户间非常规时间段的资金循环转移。

K-means: 时间复杂度 $O(n \cdot k \cdot d \cdot i)$，其中 $n$ 为样本数，$k$ 为聚类数，$d$ 为维度，$i$ 为迭代次数。内存消耗仅需存储原始数据。
DBSCAN: 时间复杂度 $O(n^2)$（未优化时），通过 KD-tree 优化可降至 $O(n\log n)$。需要存储邻接关系矩阵。
GMM: 时间复杂度 $O(n \cdot k \cdot d^2 \cdot i)$，因需计算协方差矩阵。内存消耗包含均值向量和协方差矩阵。

flowchart TD
    A[数据分布] -->| 球形分布 | B(K-means)
    A -->| 任意形状 | C(DBSCAN)
    A -->| 概率分布 | D(GMM)
    B --> E[需指定聚类数]
    C --> F[自动确定类数]
    D --> G[可输出概率]

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

# 特征标准化（关键步骤）scaler = StandardScaler()
X_scaled = scaler.fit_transform(raw_features)

# 保留 95% 方差的维度压缩
pca = PCA(n_components=0.95, svd_solver='full') 
X_pca = pca.fit_transform(X_scaled)
print(f'维度从 {X_scaled.shape[1]} 降至{X_pca.shape[1]}')

from sklearn.metrics import silhouette_score
from sklearn.cluster import KMeans

# 轮廓系数评估（范围[-1,1]）best_score = -1
for k in range(2, 10):
    kmeans = KMeans(n_clusters=k, random_state=42)
    labels = kmeans.fit_predict(X_pca)
    score = silhouette_score(X_pca, labels)
    if score > best_score:
        best_k, best_score = k, score
print(f'最优聚类数:{best_k}, 轮廓系数:{best_score:.3f}')

from sklearn.cluster import MiniBatchKMeans
import numpy as np

# 分批次处理大数据集
chunk_size = 10000
mbk = MiniBatchKMeans(n_clusters=best_k, batch_size=chunk_size)

for i in range(0, len(X_pca), chunk_size):
    chunk = X_pca[i:i + chunk_size]
    mbk.partial_fit(chunk)

# 最终聚类分配
labels = mbk.predict(X_pca)