决策树回归实战：如何处理含噪声的cos函数拟合问题

1次阅读

没有评论

共计 3125 个字符，预计需要花费 8 分钟才能阅读完成。

在机器学习中，回归问题是最常见的任务之一。传统线性回归方法在处理简单的线性关系时表现良好，但在面对非线性函数（如 cos 函数）时，效果往往不尽如人意。特别是当数据中含有噪声时，线性回归的局限性更加明显。

线性回归的局限性 ：线性回归假设自变量和因变量之间存在线性关系，但 cos 函数等非线性函数的拟合需要更复杂的模型。
噪声的影响 ：噪声会进一步干扰线性回归模型的拟合效果，导致预测偏差增大。
过拟合问题 ：传统方法在处理非线性关系时，容易出现过拟合现象，泛化能力较差。

针对非线性回归问题，常见的解决方法包括决策树、支持向量回归（SVR）和神经网络。以下是它们的优缺点对比：

决策树 ：
优点：易于理解和解释，不需要特征缩放，能够自动处理非线性关系。
缺点：容易过拟合，对噪声敏感。
SVR：
优点：在高维空间中表现良好，能够处理非线性关系。
缺点：调参复杂，计算成本较高。
神经网络 ：
优点：强大的拟合能力，适用于复杂的非线性关系。
缺点：需要大量数据和计算资源，模型解释性差。

综合考虑，决策树因其简单性和高效性，成为处理含噪声非线性回归问题的首选方法。

为了模拟真实场景，我们需要生成含噪声的 cos 函数数据。以下是生成数据的步骤：

生成均匀分布的自变量 X。
计算对应的 cos 函数值。
添加高斯噪声。

import numpy as np
import matplotlib.pyplot as plt

# 生成数据
np.random.seed(42)
X = np.linspace(0, 2 * np.pi, 100).reshape(-1, 1)
y = np.cos(X).ravel() + np.random.normal(0, 0.1, X.shape[0])

# 可视化
plt.scatter(X, y, color='blue', label='Noisy cos function')
plt.plot(X, np.cos(X), color='red', label='True cos function')
plt.legend()
plt.show()

决策树的性能高度依赖于参数设置。以下是几个关键参数及其调优策略：

max_depth：控制树的最大深度。过深会导致过拟合，过浅会导致欠拟合。
min_samples_split：节点分裂所需的最小样本数。较大的值可以防止过拟合。
min_samples_leaf：叶节点所需的最小样本数。调整此参数可以平衡模型的复杂度和泛化能力。

from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import GridSearchCV

# 定义模型
tree = DecisionTreeRegressor()

# 参数网格
param_grid = {'max_depth': [3, 5, 7, 10],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4]
}

# 网格搜索
grid_search = GridSearchCV(tree, param_grid, cv=5)
grid_search.fit(X, y)

# 最佳参数
print("Best parameters:", grid_search.best_params_)

虽然决策树本身能够处理非线性关系，但适当的特征工程可以进一步提升模型性能。例如，可以添加多项式特征：

from sklearn.preprocessing import PolynomialFeatures

# 生成多项式特征
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X)

# 训练模型
tree_poly = DecisionTreeRegressor(max_depth=5)
tree_poly.fit(X_poly, y)

以下是完整的 Python 实现，包括数据生成、模型训练、评估和可视化：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 生成数据
np.random.seed(42)
X = np.linspace(0, 2 * np.pi, 100).reshape(-1, 1)
y = np.cos(X).ravel() + np.random.normal(0, 0.1, X.shape[0])

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
tree = DecisionTreeRegressor(max_depth=5, min_samples_split=2, min_samples_leaf=1)
tree.fit(X_train, y_train)

# 预测
y_pred = tree.predict(X_test)

# 评估
mse = mean_squared_error(y_test, y_pred)
print("Mean Squared Error:", mse)

# 可视化
X_plot = np.linspace(0, 2 * np.pi, 1000).reshape(-1, 1)
y_plot = tree.predict(X_plot)

plt.scatter(X, y, color='blue', label='Noisy cos function')
plt.plot(X_plot, y_plot, color='green', label='Decision Tree Prediction')
plt.plot(X_plot, np.cos(X_plot), color='red', label='True cos function')
plt.legend()
plt.show()

决策树在不同噪声水平下的表现会有所差异。以下是几点观察：