C++实现梯度下降：从数学原理到高效代码实现

1次阅读

共计 2135 个字符，预计需要花费 6 分钟才能阅读完成。

梯度下降是机器学习中最基础的优化算法，核心思想是沿着目标函数梯度（gradient）的反方向逐步调整参数。对于损失函数 $J(\theta)$，参数更新公式为：

$$\theta_{t+1} = \theta_t – \eta \cdot \nabla_\theta J(\theta_t)$$

其中 $\eta$ 是学习率(learning rate)，控制每次更新的步长。这个看似简单的公式在实际实现时会遇到诸多挑战。

浮点精度问题：
连续相乘可能导致数值溢出 (overflow) 或舍入误差(rounding error)
解决方案：使用对数空间计算或数值稳定函数
学习率选择：
固定学习率可能导致震荡 (oscillation) 或收敛过慢
自适应方法如 AdaGrad 能缓解此问题
局部最优：
非凸函数易陷入局部极小点(local minima)
动量 (momentum) 可以增加 ” 惯性 ” 帮助跳出

/**
 * @brief 梯度下降优化器基类
 * @tparam T 数据类型(float/double)
 */
template <typename T>
class GradientDescent {
protected:
    Eigen::Matrix<T, Eigen::Dynamic, 1> theta; // 参数向量
    T learning_rate;                          // 学习率
    int max_iter;                             // 最大迭代次数

public:
    virtual void optimize() = 0; // 纯虚函数};

动量法通过累积历史梯度方向来加速收敛：

$$v_t = \gamma v_{t-1} + \eta \nabla_\theta J(\theta_t)$$
$$\theta_{t+1} = \theta_t – v_t$$

对应代码实现：

void MomentumGD::optimize() {Eigen::VectorXd velocity = Eigen::VectorXd::Zero(theta.size());

    for (int iter = 0; iter < max_iter; ++iter) {Eigen::VectorXd grad = computeGradient();
        velocity = momentum * velocity + learning_rate * grad;
        theta -= velocity;

        if (checkConvergence()) break;
    }
}

L2 正则化通过在损失函数中添加权重惩罚项防止过拟合：

$$J_{reg}(\theta) = J(\theta) + \frac{\lambda}{2}||\theta||^2$$

对应梯度计算需要增加正则项梯度：

Eigen::VectorXd L2RegularizedGD::computeGradient() {
    Eigen::VectorXd grad = original_gradient + lambda * theta;
    return grad;
}

资源管理：
使用智能指针管理动态内存
遵循 RAII(Resource Acquisition Is Initialization)原则
异常安全：
使用 try-catch 块处理矩阵运算错误
为数值溢出定义自定义异常类型

template <typename T>
class SafeDivision {
public:
    T operator()(T a, T b) {if (std::abs(b) < std::numeric_limits<T>::epsilon()) {throw NumericalError("Division by near-zero");
        }
        return a / b;
    }
};

Eigen 库默认启用 SIMD 指令优化，但需注意：

数据对齐：使用 EIGEN_MAKE_ALIGNED_OPERATOR_NEW 宏
避免混用不同向量宽度操作

// 并行计算每个参数的梯度
#pragma omp parallel for
for (int i = 0; i < theta.size(); ++i) {grad[i] = computePartialGradient(i);
}

梯度爆炸检测：
监控梯度范数：grad.norm() > threshold
解决方案：梯度裁剪(gradient clipping)

自适应学习率：

// AdaGrad 实现示例
Eigen::VectorXd cache = Eigen::VectorXd::Zero(theta.size());
cache += grad.cwiseAbs2();
theta -= learning_rate * grad.cwiseQuotient(cache.sqrt() + eps);