C# 随机森林 R2 评分优化实战：从数据预处理到模型调优

1次阅读

没有评论

共计 3017 个字符，预计需要花费 8 分钟才能阅读完成。

在机器学习回归任务中，R2 评分（决定系数）是衡量模型性能的关键指标，它表示模型对目标变量方差的解释比例。R2 评分范围在 0 到 1 之间，越接近 1 表示模型拟合效果越好。但在实际应用中，我们常常会遇到 R2 评分不理想的情况，比如：

模型在训练集上表现良好，但在测试集上表现差（过拟合）
特征与目标变量相关性低，导致模型无法有效学习
超参数选择不当，影响模型性能

随机森林是一种集成学习算法，通过构建多棵决策树并综合它们的预测结果来提高模型的泛化能力。在 C# 中，我们可以使用 ML.NET 来实现随机森林算法。优化 R2 评分的主要策略包括：

数据预处理：确保数据质量，处理缺失值和异常值
特征工程：选择与目标变量相关性高的特征
超参数调优：调整模型参数以获得更好的性能

数据预处理是机器学习流程中的第一步，也是至关重要的一步。对于数值型特征，我们通常需要进行标准化或归一化处理：

// 创建数据处理管道
var dataProcessPipeline = mlContext.Transforms
    .Concatenate("Features", "Feature1", "Feature2", "Feature3")
    .Append(mlContext.Transforms.NormalizeMinMax("Features"));

标准化和归一化的选择取决于数据分布：

如果数据包含异常值，使用归一化（Min-Max Scaling）可能更好
如果数据近似正态分布，标准化（Z-score Normalization）可能更合适

特征选择可以显著提高模型性能。我们可以使用 Pearson 相关系数来评估特征与目标变量的线性相关性：

// 计算特征相关性
var correlationMatrix = mlContext.Data
    .CreateEnumerable<DataPoint>(transformedData, reuseRowObject: false)
    .Select(dp => new { dp.Feature1, dp.Feature2, dp.Target})
    .ToArray();

// 计算每个特征与目标的相关系数
var feature1Correlation = MathNet.Numerics.Statistics.Correlation
    .Pearson(correlationMatrix.Select(x => (double)x.Feature1), 
             correlationMatrix.Select(x => (double)x.Target));

一般来说，我们会保留相关系数绝对值大于 0.3 的特征。

随机森林有几个关键超参数需要调优：

n_estimators：树的数量，通常越大越好，但会增加计算成本
max_depth：树的最大深度，控制模型复杂度
min_samples_split：节点分裂所需的最小样本数

// 设置随机森林训练器
var trainer = mlContext.Regression.Trainers.FastForest(
    new FastForestRegressionTrainer.Options
    {
        NumberOfTrees = 100,
        NumberOfLeaves = 20,
        MinimumExampleCountPerLeaf = 10,
        FeatureFraction = 0.7
    });

以下是使用 ML.NET 实现随机森林回归的完整代码：

// 1. 初始化 MLContext
var mlContext = new MLContext(seed: 0);

// 2. 加载数据
var data = mlContext.Data.LoadFromTextFile<ModelInput>(dataPath, hasHeader: true);

// 3. 数据预处理
var dataProcessPipeline = mlContext.Transforms
    .Concatenate("Features", "Feature1", "Feature2")
    .Append(mlContext.Transforms.NormalizeMinMax("Features"));

// 4. 划分训练集和测试集
var trainTestSplit = mlContext.Data.TrainTestSplit(data, testFraction: 0.2);

// 5. 定义模型训练管道
var trainingPipeline = dataProcessPipeline
    .Append(mlContext.Regression.Trainers.FastForest(
        new FastForestRegressionTrainer.Options
        {
            NumberOfTrees = 100,
            LabelColumnName = "Target",
            FeatureColumnName = "Features"
        }));

// 6. 训练模型
var model = trainingPipeline.Fit(trainTestSplit.TrainSet);

// 7. 评估模型
var predictions = model.Transform(trainTestSplit.TestSet);
var metrics = mlContext.Regression.Evaluate(predictions, "Target");

Console.WriteLine($"R2 Score: {metrics.RSquared:F4}");

经过上述优化步骤后，我们进行了性能对比测试：

优化步骤	R2 评分
基线模型	0.65
数据预处理后	0.72
特征选择后	0.78
超参数调优后	0.85

可以看到，通过系统性的优化，模型的 R2 评分从最初的 0.65 提升到了 0.85。

处理类别型特征时，常见的错误包括：

直接使用 LabelEncoding 导致模型误认为类别有大小关系
忽略高基数类别特征（如用户 ID）导致维度爆炸

正确做法是使用 One-Hot Encoding 或 Target Encoding：

var dataProcessPipeline = mlContext.Transforms.Categorical
    .OneHotEncoding("CategoryFeature")
    .Append(mlContext.Transforms.Concatenate("Features", "NumericFeature", "CategoryFeature"));

数据泄露是导致模型评估失真的常见原因，需要注意：