Caffe反向传播机制详解：从数学原理到实现细节

1次阅读

共计 1662 个字符，预计需要花费 5 分钟才能阅读完成。

反向传播（Backpropagation）是深度学习模型训练的核心算法之一。它通过计算损失函数对网络参数的梯度，指导参数更新方向。在 Caffe 框架中，反向传播的高效实现直接影响了模型的训练速度和收敛效果。理解这一机制对于调试网络、优化性能至关重要。

反向传播本质上是链式法则的递归应用。假设我们有一个简单的三层网络：

前向传播公式：
$$ z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)} $$
$$ a^{(l)} = \sigma(z^{(l)}) $$
损失函数对输出的梯度：
$$ \delta^{(L)} = \frac{\partial J}{\partial a^{(L)}} \odot \sigma'(z^{(L)}) $$
反向传播递归公式：
$$ \delta^{(l)} = (W^{(l+1)})^T\delta^{(l+1)} \odot \sigma'(z^{(l)}) $$
参数梯度计算：
$$ \frac{\partial J}{\partial W^{(l)}} = \delta^{(l)}(a^{(l-1)})^T $$
$$ \frac{\partial J}{\partial b^{(l)}} = \delta^{(l)} $$

Caffe 中反向传播主要在 Backward_cpu() 和Backward_gpu()函数中实现。以下是一个全连接层的反向传播核心代码：

// src/caffe/layers/inner_product_layer.cpp
template <typename Dtype>
void InnerProductLayer<Dtype>::Backward_cpu(
    const vector<Blob<Dtype>*>& top,
    const vector<bool>& propagate_down,
    const vector<Blob<Dtype>*>& bottom) {
  // 计算权重梯度
  caffe_cpu_gemm<Dtype>(CblasTrans, CblasNoTrans,
      N_, K_, M_, (Dtype)1.,
      top_diff, bottom_data, (Dtype)1., this->blobs_[0]->mutable_cpu_diff());

  // 计算偏置梯度
  caffe_cpu_gemv<Dtype>(CblasTrans, M_, N_, (Dtype)1.,
      top_diff, bias_multiplier_.cpu_data(), (Dtype)1.,
      this->blobs_[1]->mutable_cpu_diff());

  // 传播梯度到下层
  if (propagate_down[0]) {
    caffe_cpu_gemm<Dtype>(CblasNoTrans, CblasNoTrans,
        M_, K_, N_, (Dtype)1.,
        top_diff, this->blobs_[0]->cpu_data(), (Dtype)0.,
        bottom_diff);
  }
}