C++随机森林实战：从模型构建到生产环境优化

1次阅读

没有评论

共计 2349 个字符，预计需要花费 6 分钟才能阅读完成。

传统决策树在处理高维数据时常常会遇到几个典型问题：

过拟合风险 ：特别是当特征维度很高时，单棵决策树容易记住训练数据的噪声
训练速度瓶颈 ：随着数据量增大，递归分割的计算成本呈指数级增长
稳定性不足 ：对训练数据的小变化非常敏感，可能导致完全不同的树结构

这些问题在金融风控、推荐系统等需要处理数千维特征的场景中尤为突出。

Bagging（Bootstrap Aggregating）：
通过有放回抽样构建多个训练子集
各模型独立训练，最后投票或平均结果
典型代表：随机森林
Boosting：
迭代式训练，新模型关注前序模型的错误
需要顺序训练，难以并行化
典型代表：AdaBoost、GBDT

双重随机性 ：
数据随机（Bootstrap 采样）
特征随机（每个节点分裂时随机选取特征子集）
天然并行化 ：各决策树可独立训练
抗过拟合 ：集体决策机制降低方差

struct TreeNode {
    using Ptr = std::unique_ptr<TreeNode>;

    // 分裂特征索引
    std::optional<size_t> split_feature; 
    // 分裂阈值
    double threshold{}; 
    // 子节点
    std::array<Ptr, 2> children;
    // 叶节点值（回归时为预测值，分类时为类别分布）std::variant<double, std::vector<double>> value;
};

double compute_gini(const std::vector<int>& labels) {
    std::unordered_map<int, size_t> counts;
    for (auto label : labels) counts[label]++;

    double impurity = 1.0;
    const double n = labels.size();
    for (const auto& [_, cnt] : counts) {impurity -= std::pow(cnt / n, 2);
    }
    return impurity;
}

void build_forest(std::vector<TreeNode::Ptr>& forest, 
                 const MatrixXd& features,
                 const VectorXi& labels,
                 int n_trees = 100) {forest.resize(n_trees);

    #pragma omp parallel for
    for (int i = 0; i < n_trees; ++i) {
        // 1. Bootstrap 采样
        auto [sub_features, sub_labels] = bootstrap_sample(features, labels);

        // 2. 构建单棵树
        forest[i] = build_tree(sub_features, sub_labels);
    }
}

class TreeNodePool {
public:
    TreeNode* allocate() {if (free_list_.empty()) {blocks_.emplace_back(std::make_unique<Block>());
            auto& block = *blocks_.back();
            for (int i = 0; i < BLOCK_SIZE; ++i) {free_list_.push_back(&block.nodes[i]);
            }
        }
        auto* node = free_list_.back();
        free_list_.pop_back();
        return new (node) TreeNode();}

private:
    struct Block {TreeNode nodes[BLOCK_SIZE]; };
    std::vector<std::unique_ptr<Block>> blocks_;
    std::vector<TreeNode*> free_list_;
};

缓存友好设计 ：
对特征矩阵按列存储（Col-major）
预计算特征值的排序索引
采样策略 ：
常规：√p 特征（p 为总特征数）
大数据：log2(p)+1 特征

OpenMP 默认共享变量，需注意：
每个线程应有独立的随机数生成器
避免在并行区修改共享状态

推荐使用 Protocol Buffers 格式：

message SerializedNode {
    optional int32 split_feature = 1;
    optional double threshold = 2;
    repeated SerializedNode children = 3;
    oneof value {
        double regression_value = 4;
        ClassificationDist classification = 5;
    }
}

版本兼容建议：