机器学习实战：如何科学选择聚类数k与回归算法调优

1次阅读

共计 2404 个字符，预计需要花费 7 分钟才能阅读完成。

在机器学习实践中，聚类分析和回归模型是两大基础工具，但它们的应用常面临两个关键挑战：

聚类数的选择主观性强：传统方法依赖人工观察肘部曲线的拐点，不同分析者可能得出不同结论
回归模型容易过拟合：特别是当特征存在多重共线性时，线性回归的系数估计会变得极不稳定

肘部法则
原理：计算不同 k 值下聚类内误差平方和 (SSE) 的下降拐点
优点：计算效率高，直观易懂
缺点：拐点判断存在主观性，对非凸簇效果差
轮廓系数
原理：综合考量样本与同簇 / 异簇的距离比（- 1 到 1）
优点：量化评估聚类紧密度和分离度
缺点：计算复杂度 O(n²)，大数据集耗时

普通线性回归
适用场景：特征独立且数量较少时
风险：当存在多重共线性时会出现方差膨胀
岭回归
改进：通过 L2 正则化约束系数大小
优势：能处理病态矩阵，提高泛化能力
代价：需要额外调整正则化参数 λ

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt

# 生成模拟数据
X, _ = make_blobs(n_samples=1000, centers=4, random_state=42)

sse = []
silhouette = []
k_range = range(2, 11)

for k in k_range:
    kmeans = KMeans(n_clusters=k, random_state=42)
    kmeans.fit(X)

    # 记录 SSE（肘部法则）sse.append(kmeans.inertia_) 

    # 记录轮廓系数（需 try-catch 处理 k = 1 的情况）if k > 1:
        silhouette.append(silhouette_score(X, kmeans.labels_))
    else:
        silhouette.append(None)

# 双坐标轴可视化
fig, ax1 = plt.subplots(figsize=(10,6))

# 绘制肘部曲线
ax1.plot(k_range, sse, 'b-o')
ax1.set_xlabel('Number of clusters')
ax1.set_ylabel('SSE', color='b')

# 绘制轮廓系数曲线
ax2 = ax1.twinx()
ax2.plot(k_range, silhouette, 'r-^')
ax2.set_ylabel('Silhouette Score', color='r')

plt.title('Dual Metric Evaluation for Optimal K')
plt.show()

from sklearn.linear_model import Ridge
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV

# 数据标准化（关键步骤！）scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)

# 参数网格
param_grid = {'alpha': [0.001, 0.01, 0.1, 1, 10, 100]}

# 交叉验证
ridge = Ridge()
grid_search = GridSearchCV(ridge, param_grid, cv=5, scoring='neg_mean_squared_error')
grid_search.fit(X_train_scaled, y_train)

# 输出最优参数
print(f"Best alpha: {grid_search.best_params_['alpha']}")
print(f"Best MSE: {-grid_search.best_score_:.3f}")

# 可视化正则化路径
coefs = []
alphas = np.logspace(-3, 2, 50)

for a in alphas:
    ridge = Ridge(alpha=a)
    ridge.fit(X_train_scaled, y_train)
    coefs.append(ridge.coef_)

plt.figure(figsize=(10,6))
plt.plot(alphas, coefs)
plt.xscale('log')
plt.xlabel('Alpha (regularization strength)')
plt.ylabel('Coefficient value')
plt.title('Ridge Regression Coefficient Paths')