机器学习实战：如何解决泛化、过拟合与欠拟合问题

1次阅读

没有评论

共计 1889 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习中，理解几个关键概念是构建有效模型的基础：

泛化（Generalization）：模型在未见过的数据上表现良好的能力。一个好的模型应该能够从训练数据中学习到一般规律，而不是简单记忆训练样本。
过拟合（Overfitting）：模型在训练数据上表现极好，但在测试数据上表现很差。这通常是因为模型过于复杂，学习了训练数据中的噪声和细节，而不是底层规律。
欠拟合（Underfitting）：模型在训练数据和测试数据上都表现不佳。这通常是因为模型过于简单，无法捕捉数据中的复杂模式。
特征（Feature）：输入模型的变量，用于预测目标变量。例如，在房价预测中，特征可能包括房屋面积、卧室数量、地理位置等。
标签（Label）：模型要预测的目标变量。在房价预测中，标签就是房屋的实际价格。

在实际项目中，过拟合和欠拟合是常见的挑战。以下是一些典型案例：

过拟合案例 ：
场景：构建一个图像分类模型，训练准确率达到 99%，但测试准确率只有 60%。
原因：模型可能过于复杂，学习了训练数据中的噪声或特定样本的细节。
影响：模型在实际应用中表现不佳，无法泛化到新数据。
欠拟合案例 ：
场景：构建一个房价预测模型，训练和测试准确率都只有 50%。
原因：模型可能过于简单，无法捕捉房价与特征之间的复杂关系。
影响：模型无法提供有价值的预测结果。

特征工程是解决过拟合和欠拟合的关键步骤。通过选择合适的特征，可以提高模型的泛化能力。

特征选择 ：使用相关性分析、卡方检验等方法选择与目标变量最相关的特征。
特征缩放 ：对特征进行标准化或归一化，避免某些特征因尺度不同而主导模型训练。

正则化通过在损失函数中添加惩罚项，防止模型过于复杂。

L1 正则化（Lasso）：倾向于产生稀疏权重矩阵，适用于特征选择。
L2 正则化（Ridge）：倾向于让权重值接近于零但不完全为零，适用于防止过拟合。

交叉验证是评估模型泛化能力的有效方法。

K 折交叉验证 ：将数据集分成 K 份，轮流用其中 K - 1 份训练，1 份测试，最终取平均性能。
留一交叉验证 ：每次用一个样本作为测试集，其余作为训练集，适用于小数据集。

以下是用 Python 实现上述技术的示例代码：

from sklearn.linear_model import Lasso, Ridge
from sklearn.model_selection import cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectKBest, f_regression

# 特征选择
selector = SelectKBest(score_func=f_regression, k=5)
X_selected = selector.fit_transform(X, y)

# 特征缩放
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X_selected)

# L1 正则化
lasso = Lasso(alpha=0.1)
scores = cross_val_score(lasso, X_scaled, y, cv=5)
print("Lasso CV scores:", scores)

# L2 正则化
ridge = Ridge(alpha=0.1)
scores = cross_val_score(ridge, X_scaled, y, cv=5)
print("Ridge CV scores:", scores)

不同方法对模型性能的影响如下：