C++ Eigen 实现梯度下降算法：从数学原理到工程实践

1次阅读

没有评论

共计 1936 个字符，预计需要花费 5 分钟才能阅读完成。

梯度下降是一种迭代优化算法，用于寻找函数的最小值。它的核心思想是通过不断沿着函数梯度的反方向调整参数，逐步逼近最优解。具体来说，对于一个待优化的目标函数 J(θ)，其参数更新公式为：

θ = θ – α * ∇J(θ)

其中，α 是学习率，控制每次更新的步长；∇J(θ) 是目标函数在当前参数处的梯度。

Eigen 是一个高性能的 C++ 模板库，主要用于线性代数运算。它的主要优势包括：

纯头文件实现，无需编译安装，易于集成
提供丰富的矩阵和向量操作接口
自动向量化优化，充分利用现代 CPU 的 SIMD 指令
内存高效，支持表达式模板延迟计算
支持固定大小和动态大小的矩阵

在数值计算领域，Eigen 被广泛用于机器学习算法实现、物理仿真、计算机视觉等场景。

下面是一个使用 Eigen 实现梯度下降算法的完整示例：

#include <Eigen/Dense>
#include <iostream>

using namespace Eigen;

// 目标函数：线性回归的均方误差
float compute_cost(const MatrixXf& X, const VectorXf& y, const VectorXf& theta) {
    VectorXf error = X * theta - y;
    return (error.transpose() * error)(0) / (2 * y.size());
}

// 梯度下降实现
VectorXf gradient_descent(const MatrixXf& X, const VectorXf& y, float alpha, int iterations) {
    // 初始化参数向量
    VectorXf theta = VectorXf::Zero(X.cols());

    // 预分配内存
    VectorXf gradient(X.cols());
    VectorXf error(y.size());

    for (int i = 0; i < iterations; ++i) {
        // 计算误差
        error = X * theta - y;

        // 计算梯度
        gradient = (X.transpose() * error) / y.size();

        // 更新参数
        theta = theta - alpha * gradient;

        // 可选：每 100 次迭代打印损失
        if (i % 100 == 0) {
            std::cout << "Iteration" << i << "cost:" 
                      << compute_cost(X, y, theta) << std::endl;
        }
    }

    return theta;
}

内存预分配 ：在循环外部预先分配好所有中间变量内存，避免重复分配释放
表达式模板 ：Eigen 会自动优化表达式，如 X.transpose() * error 会被优化为单一循环
SIMD 指令 ：Eigen 默认启用 SIMD 指令，确保编译时启用相应标志（如 -march=native）
并行计算 ：对于大型矩阵，可以使用 Eigen 的并行计算功能
固定大小矩阵 ：如果矩阵大小在编译时已知，使用固定大小矩阵（如 Matrix3f）可获得更好性能

学习率设置不当 ：学习率太大会导致震荡，太小收敛慢。建议从 0.01 开始尝试
矩阵维度不匹配 ：Eigen 会进行严格的维度检查，确保矩阵乘法维度正确
未归一化特征 ：不同尺度特征会导致收敛困难，建议预处理时归一化
迭代次数不足 ：设置足够迭代次数或添加收敛条件判断

下面是一个完整的线性回归示例，展示如何使用上述梯度下降实现：

int main() {
    // 生成测试数据
    MatrixXf X(100, 2);
    VectorXf y(100);

    // 填充数据（实际应用中从文件或数据库加载）for (int i = 0; i < 100; ++i) {X(i, 0) = 1;  // 偏置项
        X(i, 1) = i * 0.1f;
        y(i) = 2.5f + 1.8f * X(i, 1) + (rand() % 100) * 0.01f;  // y = 2.5 + 1.8x + 噪声
    }

    // 运行梯度下降
    VectorXf theta = gradient_descent(X, y, 0.01f, 1000);

    // 打印结果
    std::cout << "Final parameters:" << theta.transpose() << std::endl;
    std::cout << "Final cost:" << compute_cost(X, y, theta) << std::endl;

    return 0;
}

通过 Eigen 实现梯度下降算法，我们既保持了代码的简洁性，又获得了接近手写优化的性能。在实际应用中，还可以进一步优化，例如：