决策树特征选择指标深度解析：为什么均方误差不适用于分类任务？

1次阅读

共计 1668 个字符，预计需要花费 5 分钟才能阅读完成。

决策树通过递归划分特征空间实现预测，但其分裂标准因任务类型而异：
– 分类任务：目标是降低节点内样本类别的混乱程度，常用纯度度量指标（如 Gini、信息增益）
– 回归任务：目标是减小预测值与真实值的偏差，常用方差缩减指标（如 MSE）

数学表达差异：
– 分类纯度指标：$\text{Gini} = 1 – \sum_{k=1}^K p_k^2$
– 回归误差指标：$\text{MSE} = \frac{1}{N}\sum_{i=1}^N(y_i – \hat{y})^2$

基于信息熵的减少量，公式：
$$\text{IG}(D_p,f) = I(D_p) – \sum_{j=1}^m \frac{N_j}{N_p}I(D_j)$$
– 优点：直接反映特征带来的信息量变化
– 缺点：偏向多值特征（需配合增益率使用）

示例数据集演示：

import pandas as pd
from sklearn.tree import DecisionTreeClassifier

data = pd.DataFrame({'温度': ['高', '高', '低', '中'],
    '湿度': ['高', '低', '高', '低'],
    '外出': ['否', '是', '否', '是']
})
# 计算原始熵：I(D_p) = -0.5*log2(0.5) -0.5*log2(0.5) = 1

计算节点内类别分布的不纯度：
$$\text{Gini} = 1 – \sum_{k=1}^K (p_k)^2$$
– 特点：计算效率高于信息熵，适合大规模数据
– 对比实验：

dtc_gini = DecisionTreeClassifier(criterion='gini').fit(X,y)
dtc_entropy = DecisionTreeClassifier(criterion='entropy').fit(X,y)
# 实际效果差异通常 <2%

分类任务的 $y_i$ 是类别标签（离散值），MSE 的导数优化方向与概率输出不兼容
推导示例：
$$\frac{\partial \text{MSE}}{\partial w} = \frac{2}{N}\sum(y_i – \sigma(w^Tx))\sigma'(…)$$
当 $y_i \in {0,1}$ 时，梯度更新会出现方向错误

使用 Moons 数据集演示：

from sklearn.datasets import make_moons
X, y = make_moons(noise=0.2)

# 错误使用 MSE 的决策树（需自定义分裂准则）class MSETree(DecisionTreeRegressor):
    def _criterion(self, y, pred):
        return np.mean((y - pred)**2)  # 强制使用 MSE

# 结果：准确率下降 15-20%

场景	推荐指标	原因
类别均衡的分类任务	Gini 系数	计算高效
类别不平衡的分类任务	信息增益率	避免偏向多数类
连续值回归任务	MSE/MAE	与损失函数一致

import matplotlib.pyplot as plt

model = DecisionTreeClassifier(criterion='gini').fit(X,y)
plt.barh(X.columns, model.feature_importances_)
plt.title('Feature Importance by Gini Importance')