深入解析CART回归决策树：数学公式推导与工程实践

1次阅读

没有评论

共计 1543 个字符，预计需要花费 4 分钟才能阅读完成。

当面对非线性、异方差的数据时，传统的线性回归往往表现不佳。CART 回归树的优势在于：

自动捕捉变量间的交互作用
对异常值和数据尺度不敏感
输出可解释的决策规则

对于节点 $t$，其平方误差定义为：

$$
SE(t) = \sum_{i \in t}(y_i – \bar{y}_t)^2
$$

其中 $\bar{y}_t$ 是节点内样本均值。分裂目标是找到特征 $j$ 和分裂点 $s$，使得：

$$
\min_{j,s} [SE(t_L) + SE(t_R)]
$$

对每个特征进行排序
遍历所有可能的分裂点
计算分裂后的加权平方误差和

数学证明叶子节点的最优预测值就是该节点内样本的均值：

$$
c_t = \frac{1}{N_t}\sum_{i \in t} y_i
$$

import numpy as np

class Node:
    def __init__(self, feature_idx=None, threshold=None, 
                 left=None, right=None, value=None):
        self.feature_idx = feature_idx  # 分裂特征索引
        self.threshold = threshold      # 分裂阈值
        self.left = left                # 左子树
        self.right = right              # 右子树
        self.value = value              # 叶子节点预测值

class CARTRegressor:
    def __init__(self, max_depth=5):
        self.max_depth = max_depth

    def _best_split(self, X, y):
        '''寻找最优分裂特征和阈值'''
        best_se = float('inf')
        best_idx, best_thr = None, None

        for idx in range(X.shape[1]):
            thresholds = np.unique(X[:, idx])
            for thr in thresholds:
                left_mask = X[:, idx] <= thr
                right_mask = ~left_mask

                if np.sum(left_mask) == 0 or np.sum(right_mask) == 0:
                    continue

                left_se = np.sum((y[left_mask] - np.mean(y[left_mask]))**2)
                right_se = np.sum((y[right_mask] - np.mean(y[right_mask]))**2)
                total_se = left_se + right_se

                if total_se < best_se:
                    best_se = total_se
                    best_idx = idx
                    best_thr = thr

        return best_idx, best_thr