决策树回归与多元线性回归对比：如何为你的预测问题选择最佳模型

1次阅读

共计 1932 个字符，预计需要花费 5 分钟才能阅读完成。

想象你正在开发一个房价预测系统。如果房屋特征（如面积、地段）与价格呈明显线性关系，多元线性回归（Multiple Linear Regression）可能是简洁高效的选择。但现实中，房价往往受非线性因素影响（如学区房溢价），这时决策树回归（Decision Tree Regression）能自动捕捉这些复杂模式。

另一个例子是用户生命周期价值（LTV）预测。线性回归可以快速量化每个用户行为的贡献值，但当用户行为路径存在 ”if-then” 规则（如 ” 如果用户 30 天内未登录，则流失概率激增 ”）时，决策树的层次分割特性会表现更优。

多元线性回归：参数模型（Parametric Model），假设目标变量可表示为特征的加权和（y = β₀ + β₁x₁ + … + βₙxₙ + ε）
决策树回归：非参数模型（Non-parametric Model），通过递归划分特征空间构建预测规则，不预设数学形式

线性回归：
优势：显式建模线性关系，系数可直接解释
局限：需人工添加多项式项（如 x²）处理非线性
决策树：
优势：自动处理非线性关系和交互作用
局限：对简单线性关系可能过度复杂化

线性回归：系数大小和符号直接表示特征影响方向和强度（需标准化后比较）
决策树：通过计算特征在分裂中的信息增益（Information Gain）或基尼不纯度（Gini Impurity）减少量来评估重要性

操作	线性回归	决策树回归
训练	O(n³)	O(n log n)
单样本预测	O(p)	O(树深度)

（n: 样本数, p: 特征数）

# 导入核心库
from sklearn.tree import DecisionTreeRegressor
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_score
from sklearn.preprocessing import StandardScaler
import numpy as np

# 示例数据准备（假设 X 是特征矩阵，y 是目标变量）X = np.random.rand(1000, 5)  # 1000 样本，5 特征
y = X[:, 0] + 2*X[:, 1]**2 + np.random.normal(0, 0.1, 1000)  # 含非线性关系

# 特征标准化（对线性回归很重要）scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 模型初始化
linear = LinearRegression()
tree = DecisionTreeRegressor(max_depth=3, random_state=42)

# 交叉验证评估
linear_scores = cross_val_score(linear, X_scaled, y, cv=5, scoring='neg_mean_squared_error')
tree_scores = cross_val_score(tree, X, y, cv=5, scoring='neg_mean_squared_error')

print(f"Linear Regression MSE: {-linear_scores.mean():.4f}")
print(f"Decision Tree MSE: {-tree_scores.mean():.4f}")