C++ Eigen 梯度下降实战：从数学原理到代码实现

1次阅读

没有评论

共计 1897 个字符，预计需要花费 5 分钟才能阅读完成。

梯度下降是机器学习中最基础的优化算法，核心思想是通过迭代调整参数，使损失函数值逐步降低。在 C ++ 中实现时，初学者常遇到两个问题：

性能瓶颈 ：手动实现的矩阵运算效率低下，尤其当数据量大时速度明显变慢
数值不稳定 ：不当的学习率或实现方式可能导致震荡甚至发散

Eigen 是一个高性能的 C ++ 模板库，专门用于线性代数运算。与其他库相比，它有三大优势：

表达式模板 ：延迟计算直到赋值，避免临时变量开销
SIMD 指令优化 ：自动利用现代 CPU 的并行指令
内存友好 ：数据默认按列存储，与 CPU 缓存机制更匹配

测试表明，在 1000×1000 矩阵乘法上，Eigen 比原生实现快 15 倍以上。

以线性回归为例，损失函数为均方误差 (MSE)：

double computeLoss(const Eigen::MatrixXd& X, 
                  const Eigen::VectorXd& y,
                  const Eigen::VectorXd& theta) {
    Eigen::VectorXd error = X * theta - y;
    return error.array().square().mean();}

数学推导可得梯度公式为：

Eigen::VectorXd computeGradient(const Eigen::MatrixXd& X,
                               const Eigen::VectorXd& y,
                               const Eigen::VectorXd& theta) {return (X.transpose() * (X * theta - y)) / X.rows();}

采用标准梯度下降更新规则：

void updateParameters(Eigen::VectorXd& theta,
                     const Eigen::VectorXd& gradient,
                     double learning_rate) {theta -= learning_rate * gradient;}

#include <Eigen/Dense>
#include <iostream>

class GradientDescent {
public:
    void fit(const Eigen::MatrixXd& X, 
             const Eigen::VectorXd& y,
             double lr = 0.01,
             int max_iter = 1000,
             double tol = 1e-6) {

        // 初始化参数（添加截距项）theta_ = Eigen::VectorXd::Zero(X.cols());

        for (int i = 0; i < max_iter; ++i) {
            // 计算梯度
            Eigen::VectorXd grad = computeGradient(X, y);

            // 更新参数
            theta_ -= lr * grad;

            // 检查收敛条件
            if (grad.norm() < tol) {
                std::cout << "Converged at iteration" << i << std::endl;
                break;
            }
        }
    }

    Eigen::VectorXd predict(const Eigen::MatrixXd& X) {return X * theta_;}

private:
    Eigen::VectorXd computeGradient(const Eigen::MatrixXd& X,
                                   const Eigen::VectorXd& y) {return X.transpose() * (X * theta_ - y) / X.rows();}

    Eigen::VectorXd theta_;
};