C#多项式拟合实战：使用交叉验证避免过拟合的完整指南

1次阅读

没有评论

共计 4468 个字符，预计需要花费 12 分钟才能阅读完成。

多项式回归是机器学习中常用的技术，它通过将特征转换为多项式形式来拟合非线性关系。在实际应用中，比如预测房价趋势、分析销售增长曲线等场景，多项式拟合都能发挥重要作用。

但是，多项式拟合很容易陷入 ” 过拟合 ” 的陷阱。过拟合是指模型在训练数据上表现很好，但在新数据上表现很差的现象。这就像是一个学生死记硬背了所有课后习题，但遇到新的题目就不会做了。

过拟合的典型表现是：

训练误差很低，但验证误差很高
模型参数值异常大
拟合曲线出现不合理的剧烈波动

常规的解决方案是将数据分成训练集和测试集，但这会浪费部分数据。更好的方法是使用交叉验证，它能更有效地利用所有数据来进行模型评估。

我们将使用 MathNet.Numerics 库来实现一个完整的解决方案。这个库提供了强大的数值计算功能，非常适合科学计算和机器学习任务。

首先安装必要的 NuGet 包：

// 在 NuGet 包管理器控制台中
Install-Package MathNet.Numerics
Install-Package MathNet.Numerics.Data.Text

数据标准化是机器学习中的重要预处理步骤，它能将不同尺度的特征转换到相同的范围内。

using MathNet.Numerics.Statistics;
using MathNet.Numerics.LinearAlgebra;

public static class DataPreprocessor
{
    /// <summary>
    /// 标准化数据(均值 0，标准差 1)
    /// </summary>
    public static (Vector<double> mean, Vector<double> std) Standardize(Matrix<double> data)
    {var mean = data.ColumnSums() / data.RowCount;
        var std = data.ColumnStandardDeviations();

        for (int i = 0; i < data.ColumnCount; i++)
        {if (std[i] == 0) std[i] = 1; // 避免除以 0
            data.SetColumn(i, (data.Column(i) - mean[i]) / std[i]);
        }

        return (mean, std);
    }
}

多项式特征生成是将原始特征转换为多项式形式的关键步骤。

public static class PolynomialFeatures
{
    /// <summary>
    /// 生成多项式特征
    /// </summary>
    /// <param name="degree"> 多项式阶数 </param>
    public static Matrix<double> Generate(Matrix<double> X, int degree)
    {if (degree < 1) throw new ArgumentException("阶数必须大于等于 1");

        var nSamples = X.RowCount;
        var nFeatures = X.ColumnCount;

        // 计算多项式特征的数量
        int nPolyFeatures = Combinatorics.Combinations(nFeatures + degree, degree) - 1;

        var polyX = Matrix<double>.Build.Dense(nSamples, nPolyFeatures);

        // 实现多项式特征生成逻辑
        // ...(具体实现代码)

        return polyX;
    }
}

最小二乘法是多项式回归的核心算法。

public class PolynomialRegression
{
    private Vector<double> _coefficients;

    public void Fit(Matrix<double> X, Vector<double> y)
    {
        // 添加截距项
        var XWithIntercept = Matrix<double>.Build.Dense(X.RowCount, X.ColumnCount + 1, 1);
        XWithIntercept.SetSubMatrix(0, 0, X);

        // 最小二乘解: (X'X)^-1 X'y
        _coefficients = (XWithIntercept.Transpose() * XWithIntercept).Inverse() * XWithIntercept.Transpose() * y;
    }

    public Vector<double> Predict(Matrix<double> X)
    {var XWithIntercept = Matrix<double>.Build.Dense(X.RowCount, X.ColumnCount + 1, 1);
        XWithIntercept.SetSubMatrix(0, 0, X);
        return XWithIntercept * _coefficients;
    }
}

交叉验证是防止过拟合的有效方法。

public static class CrossValidation
{
    /// <summary>
    /// k 折交叉验证
    /// </summary>
    /// <param name="k"> 折数 </param>
    /// <param name="degrees"> 要测试的多项式阶数范围 </param>
    public static (int bestDegree, double[] trainErrors, double[] valErrors) KFoldCV(Matrix<double> X, Vector<double> y, int k, IEnumerable<int> degrees)
    {
        var nSamples = X.RowCount;
        var indices = Enumerable.Range(0, nSamples).ToArray();

        // 打乱索引
        new Random().Shuffle(indices);

        var bestDegree = -1;
        var minValError = double.MaxValue;
        var trainErrors = new List<double>();
        var valErrors = new List<double>();

        foreach (var degree in degrees)
        {
            double avgTrainError = 0;
            double avgValError = 0;

            // 实现 k 折交叉验证逻辑
            // ...(具体实现代码)

            trainErrors.Add(avgTrainError);
            valErrors.Add(avgValError);

            if (avgValError < minValError)
            {
                minValError = avgValError;
                bestDegree = degree;
            }
        }

        return (bestDegree, trainErrors.ToArray(), valErrors.ToArray());
    }
}

通过绘制训练误差和验证误差随多项式阶数变化的曲线，可以直观地判断模型是否过拟合。

// 假设我们已经获得了 trainErrors 和 valErrors
var degrees = Enumerable.Range(1, 10);

// 绘制误差曲线
using (var plt = new ScottPlot.Plot(600, 400))
{plt.AddScatter(degrees.Select(d => (double)d).ToArray(), trainErrors, label: "训练误差");
    plt.AddScatter(degrees.Select(d => (double)d).ToArray(), valErrors, label: "验证误差");
    plt.XLabel("多项式阶数");
    plt.YLabel("MSE");
    plt.Legend();
    plt.SaveFig("error_curves.png");
}

选择最优多项式阶数的经验法则：

从低阶 (如 1 -3) 开始尝试
观察验证误差曲线的最低点
选择验证误差最小的阶数
如果验证误差持续下降但变化不大，选择更简单的模型

当数据噪声较大或特征较多时，可以加入 L2 正则化 (岭回归) 来进一步防止过拟合：

// 岭回归的目标函数: ||y - Xw||^2 + α||w||^2
public Vector<double> RidgeFit(Matrix<double> X, Vector<double> y, double alpha)
{var XWithIntercept = Matrix<double>.Build.Dense(X.RowCount, X.ColumnCount + 1, 1);
    XWithIntercept.SetSubMatrix(0, 0, X);

    var I = Matrix<double>.Build.DenseIdentity(XWithIntercept.ColumnCount);
    I[0, 0] = 0; // 不对截距项正则化

    return (XWithIntercept.Transpose() * XWithIntercept + alpha * I).Inverse() * 
           XWithIntercept.Transpose() * y;}

对于大数据集，可以使用流式处理或分批处理来减少内存占用：

public void ProcessInBatches(Matrix<double> data, int batchSize, Action<Matrix<double>> processBatch)
{for (int i = 0; i < data.RowCount; i += batchSize)
    {var batch = data.SubMatrix(i, Math.Min(batchSize, data.RowCount - i), 0, data.ColumnCount);
        processBatch(batch);
    }
}

高阶多项式会导致计算复杂度急剧上升，应注意：