CNN误差反向传播原理详解与实现避坑指南

1次阅读

共计 1812 个字符，预计需要花费 5 分钟才能阅读完成。

卷积神经网络 (CNN) 是计算机视觉领域的基石，其局部连接和权值共享特性显著降低了参数数量。而误差反向传播作为训练 CNN 的核心算法，通过链式法则将输出层误差逐层反向传递，实现网络参数的迭代优化。理解其数学本质和实现细节，是解决梯度消失、训练震荡等问题的关键。

对于一个卷积层，输入特征图 $X$ 与滤波器 $W$ 的离散卷积运算可表示为：

$$Y_{i,j} = \sum_{m=0}^{k_h-1}\sum_{n=0}^{k_w-1} W_{m,n} \cdot X_{i+m,j+n} + b$$

其中 $k_h$ 和 $k_w$ 为滤波器尺寸，$b$ 为偏置项。ReLU 激活函数的计算则为：

$$A_{i,j} = \max(0, Y_{i,j})$$

输出层梯度计算：
$$\frac{\partial L}{\partial Y^{(L)}} = \frac{\partial L}{\partial \hat{y}} \odot f'(Y^{(L)})$$
卷积层梯度传递：
$$\frac{\partial L}{\partial W} = X \ast \frac{\partial L}{\partial Y}$$
$$\frac{\partial L}{\partial X} = \text{rot180}(W) \ast \text{zero_pad}(\frac{\partial L}{\partial Y})$$
池化层梯度分配：
Max Pooling 需记录前向传播时的最大值位置
Average Pooling 均匀分配梯度

import numpy as np

def conv_backward(dY, cache):
    """dY: 上层传来的梯度 (H', W', C')
    cache: 前向传播保存的(X, W, b, conv_param)
    """
    X, W, b, conv_param = cache
    stride, pad = conv_param['stride'], conv_param['pad']

    # 初始化梯度
    dW = np.zeros_like(W)
    db = np.sum(dY, axis=(0,1))

    # 补零操作
    X_pad = np.pad(X, ((0,0), (pad,pad), (pad,pad), (0,0)), 'constant')
    dX_pad = np.zeros_like(X_pad)

    # 计算 dW 和 dX
    for i in range(dY.shape[0]):
        for j in range(dY.shape[1]):
            h_start = i * stride
            w_start = j * stride

            for c in range(W.shape[3]):
                # 计算 dW
                dW[:,:,:,c] += X_pad[h_start:h_start+W.shape[0], 
                                     w_start:w_start+W.shape[1], :] * dY[i,j,c]

                # 计算 dX
                dX_pad[h_start:h_start+W.shape[0], 
                       w_start:w_start+W.shape[1], :] += W[:,:,:,c] * dY[i,j,c]

    # 去除 padding 部分
    if pad == 0:
        dX = dX_pad
    else:
        dX = dX_pad[:, pad:-pad, pad:-pad, :]

    return dX, dW, db

指数衰减：$\eta_t = \eta_0 \cdot e^{-kt}$
阶梯衰减：每隔 N 轮将学习率减半
自适应方法：Adam、RMSProp 等自动调整学习率

def gradient_clipping(grad, threshold):
    norm = np.linalg.norm(grad)
    if norm > threshold:
        grad = grad * threshold / norm
    return grad