机器学习实战：如何科学选择聚类数k与回归算法调优指南

1次阅读

共计 1918 个字符，预计需要花费 5 分钟才能阅读完成。

在实际业务场景中，机器学习工程师常常面临两个核心问题：如何选择合适的算法，以及如何确定关键参数。例如，对于回归问题，线性回归和岭回归各有优缺点，选择不当可能导致模型欠拟合或过拟合。对于聚类问题，确定最优聚类数 k 往往依赖主观经验，缺乏科学依据。

线性回归通过最小化残差平方和来拟合数据，其目标函数为：

$$
\min_{w} ||Xw – y||_2^2
$$

岭回归在目标函数中加入了 L2 正则化项，用于防止过拟合：

$$
\min_{w} ||Xw – y||_2^2 + \alpha ||w||_2^2
$$

适用场景对比：

线性回归：适用于特征数量较少、特征间相关性较低的数据集
岭回归：适用于特征数量较多、存在多重共线性的数据集

肘部法则通过观察误差平方和 (SSE) 随 k 值变化的拐点来确定最优 k 值。轮廓系数则综合考虑了样本的簇内凝聚度和簇间分离度，计算公式为：

$$
s = \frac{b – a}{max(a, b)}
$$

其中 a 是样本到同簇其他样本的平均距离，b 是样本到最近其他簇样本的平均距离。

优缺点分析：

肘部法则：计算简单但主观性强
轮廓系数：结果更客观但计算复杂度高

from sklearn.linear_model import LinearRegression, Ridge
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 数据准备
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 线性回归
lr = LinearRegression()
lr.fit(X_train, y_train)
lr_pred = lr.predict(X_test)
print(f'Linear Regression MSE: {mean_squared_error(y_test, lr_pred)}')

# 岭回归
ridge = Ridge(alpha=1.0)  # alpha 为正则化强度
ridge.fit(X_train, y_train)
ridge_pred = ridge.predict(X_test)
print(f'Ridge Regression MSE: {mean_squared_error(y_test, ridge_pred)}')

from yellowbrick.cluster import KElbowVisualizer, SilhouetteVisualizer
from sklearn.cluster import KMeans

# 肘部法则
model = KMeans()
visualizer = KElbowVisualizer(model, k=(2,10))
visualizer.fit(X)
visualizer.show()

# 轮廓系数
model = KMeans(n_clusters=4)  # 假设通过肘部法则确定 k =4
visualizer = SilhouetteVisualizer(model)
visualizer.fit(X)
visualizer.show()