C++ Eigen 梯度下降实战：从数学原理到代码实现

1次阅读

没有评论

共计 1967 个字符，预计需要花费 5 分钟才能阅读完成。

梯度下降是机器学习中最基础的优化算法之一，它的核心思想是通过迭代调整参数，逐步减小损失函数的值。在 C ++ 中实现梯度下降时，我们常常会遇到两个主要问题：性能瓶颈和数值不稳定。

性能瓶颈：传统的实现方式可能因为矩阵运算效率低下而导致训练速度缓慢。
数值不稳定：不当的学习率设置或矩阵运算可能导致数值溢出或无法收敛。

Eigen 是一个高性能的 C ++ 模板库，专门用于线性代数运算。与其他线性代数库（如 Armadillo 或 Boost.uBLAS）相比，Eigen 在矩阵运算上有明显的性能优势。

内存高效：Eigen 支持延迟求值和表达式模板，减少了不必要的内存拷贝。
SIMD 优化：Eigen 充分利用现代 CPU 的 SIMD 指令集，加速矩阵运算。
易用性：Eigen 的 API 设计简洁，易于上手。

梯度下降的第一步是定义一个损失函数。以线性回归为例，损失函数可以定义为均方误差（MSE）：

double computeLoss(const Eigen::VectorXd& y_pred, const Eigen::VectorXd& y_true) {return (y_pred - y_true).squaredNorm() / y_true.size();
}

接下来是计算损失函数对参数的梯度。对于线性回归，梯度计算如下：

Eigen::VectorXd computeGradient(const Eigen::MatrixXd& X, const Eigen::VectorXd& y, const Eigen::VectorXd& theta) {return X.transpose() * (X * theta - y) / y.size();}

最后是参数的更新步骤，使用梯度下降的公式：

void updateParameters(Eigen::VectorXd& theta, const Eigen::VectorXd& gradient, double learning_rate) {theta -= learning_rate * gradient;}

下面是一个完整的梯度下降实现示例：

#include <Eigen/Dense>
#include <iostream>

using namespace Eigen;

int main() {
    // 生成模拟数据
    MatrixXd X = MatrixXd::Random(100, 2);
    VectorXd y = X * VectorXd::Constant(2, 1.0) + VectorXd::Random(100) * 0.1;

    // 初始化参数
    VectorXd theta = VectorXd::Zero(2);

    // 设置学习率和迭代次数
    double learning_rate = 0.01;
    int max_iter = 1000;

    // 梯度下降
    for (int i = 0; i < max_iter; ++i) {VectorXd gradient = computeGradient(X, y, theta);
        updateParameters(theta, gradient, learning_rate);

        if (i % 100 == 0) {double loss = computeLoss(X * theta, y);
            std::cout << "Iteration" << i << ", Loss:" << loss << std::endl;
        }
    }

    std::cout << "Final parameters:" << theta.transpose() << std::endl;
    return 0;
}

学习率是梯度下降中最重要的超参数之一。过大可能导致震荡甚至发散，过小则收敛缓慢。