决策树回归 vs 多元线性回归：原理对比与实战选型指南

1次阅读

共计 2262 个字符，预计需要花费 6 分钟才能阅读完成。

在机器学习的回归问题中，我们常常需要预测一个连续值，比如房价预测、销售额预测等。对于新手来说，面对众多回归算法，选择哪一个往往让人困惑。特别是在决策树回归（Decision Tree Regression）和多元线性回归（Multiple Linear Regression）之间，很多人不清楚它们的本质差异和适用场景。

常见的问题包括：
– 我的数据是否满足线性假设？
– 特征之间相关性很强时，哪种算法更稳定？
– 如何快速判断哪个算法在我的数据集上表现更好？

决策树回归：通过递归地将数据分割成更小的子集，最终在每个叶节点上输出一个常数值（通常是该子集目标值的平均值）。分割的依据是最大化信息增益（Information Gain），也就是最小化子集的方差。
多元线性回归：假设目标值与特征之间存在线性关系，通过最小二乘法（Least Squares）最小化预测值与真实值之间的平方误差，找到最优的系数。

决策树回归：
不需要数据满足线性关系，可以处理非线性数据。
对特征之间的相关性不敏感。
对异常值（Outliers）相对鲁棒。
多元线性回归：
假设目标值与特征是线性关系（或可以通过变换变为线性关系）。
对特征之间的多重共线性（Multicollinearity）敏感。
异常值可能对模型产生较大影响。

使用 matplotlib 可以直观地看到两种算法的拟合差异。比如，在非线性数据上，决策树回归的拟合曲线会更加灵活，而线性回归的拟合曲线则是一条直线。

from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import numpy as np

# 生成非线性数据
X = np.sort(5 * np.random.rand(80, 1), axis=0)
y = np.sin(X).ravel() + np.random.randn(80) * 0.1

# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 训练模型
dtree = DecisionTreeRegressor(max_depth=3)  # max_depth 控制树的深度，防止过拟合
dtree.fit(X_train, y_train)

# 预测和评估
y_pred = dtree.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print(f'决策树回归的 MSE: {mse:.4f}')

from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler

# 标准化特征（线性回归对尺度敏感）scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 训练模型
lr = LinearRegression()
lr.fit(X_train_scaled, y_train)

# 预测和评估
y_pred = lr.predict(X_test_scaled)
mse = mean_squared_error(y_test, y_pred)
print(f'线性回归的 MSE: {mse:.4f}')