机器学习实战：从线性回归到聚类分析的科学选参指南

1次阅读

共计 2091 个字符，预计需要花费 6 分钟才能阅读完成。

在机器学习任务中，选择合适的算法是成功的第一步。以下是线性回归、岭回归和聚类算法的对比分析：

算法类型	主要特点	适用场景	注意事项
线性回归	模型简单直观，计算效率高	特征间独立性较强，数据线性可分	对异常值敏感，需处理多重共线性
岭回归 (Ridge Regression)	通过 L2 正则化防止过拟合	特征间存在共线性，数据量适中	需要选择合适的正则化系数 α
聚类算法 (Clustering)	无监督学习，自动发现数据结构	探索性数据分析，客户分群	需要确定最佳聚类数 k

聚类算法与监督学习的本质区别在于：

监督学习需要标注数据，目标是学习输入到输出的映射关系
聚类算法无需标注数据，目标是发现数据内部的自然分组

岭回归通过在损失函数中加入 L2 正则项来控制模型复杂度：

$$J(\theta) = |y – X\theta|^2 + \alpha|\theta|^2$$

从几何角度看：

普通最小二乘的解可能位于参数空间的任意位置
L2 正则化将解限制在一个超球面内，防止参数值过大
正则化系数 α 控制约束强度，α 越大解越接近原点

轮廓系数 (Silhouette Coefficient) 评估聚类效果，计算过程如下：

对于样本 i，计算 a(i) = 与同簇其他样本的平均距离
计算 b(i) = 与最近其他簇样本的平均距离
轮廓系数 s(i) = (b(i) – a(i)) / max(a(i), b(i))

整体轮廓系数是所有样本 s(i)的平均值，范围在 [-1,1] 之间，值越大表示聚类效果越好。

from sklearn.linear_model import RidgeCV
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline

# 创建带标准化的岭回归模型
# alphas 参数设置正则化系数候选值
model = make_pipeline(StandardScaler(),
    RidgeCV(alphas=[0.1, 1.0, 10.0], cv=5)
)

# 训练模型
model.fit(X_train, y_train)

# 输出最优 alpha 值
print(f'Best alpha: {model.named_steps["ridgecv"].alpha_}')

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt

# 准备候选 k 值
k_range = range(2, 11)
wcss = []  # 保存肘部法则的 WCSS 值
sil_scores = []  # 保存轮廓系数

for k in k_range:
    kmeans = KMeans(n_clusters=k, random_state=42)
    labels = kmeans.fit_predict(X_scaled)

    # 计算 WCSS(组内平方和)
    wcss.append(kmeans.inertia_)

    # 计算轮廓系数
    sil_scores.append(silhouette_score(X_scaled, labels))

# 绘制双坐标轴图形
fig, ax1 = plt.subplots(figsize=(10, 6))

# 肘部法则曲线
ax1.plot(k_range, wcss, 'b-o', label='WCSS')
ax1.set_xlabel('Number of clusters (k)')
ax1.set_ylabel('Within-Cluster Sum of Squares', color='b')
ax1.tick_params(axis='y', labelcolor='b')

# 轮廓系数曲线
ax2 = ax1.twinx()
ax2.plot(k_range, sil_scores, 'r-s', label='Silhouette Score')
ax2.set_ylabel('Silhouette Score', color='r')
ax2.tick_params(axis='y', labelcolor='r')

plt.title('Elbow Method and Silhouette Analysis')
plt.show()

在实践应用中，需要注意以下常见陷阱：