CNN反向传播原理详解：从数学推导到Python实现

1次阅读

共计 1726 个字符，预计需要花费 5 分钟才能阅读完成。

卷积神经网络（CNN）是计算机视觉领域的核心架构，其通过局部连接和权值共享显著降低了参数数量。反向传播算法作为 CNN 训练的基础，决定了网络如何从错误中学习调整权重。理解卷积层的梯度计算过程，是掌握 CNN 工作原理的关键突破点。

设输入特征图 $X \in \mathbb{R}^{H\times W}$，卷积核 $K \in \mathbb{R}^{k\times k}$，输出特征图 $Y$ 的每个元素计算为：
$$ Y_{i,j} = \sum_{m=0}^{k-1}\sum_{n=0}^{k-1} X_{i+m,j+n}K_{m,n} $$
当收到上层传递的梯度 $\frac{\partial L}{\partial Y}$ 时，根据链式法则：

卷积核梯度计算：
$$ \frac{\partial L}{\partial K_{m,n}} = \sum_{i,j} \frac{\partial L}{\partial Y_{i,j}} X_{i+m,j+n} $$
输入梯度计算（用于继续反向传播）：
$$ \frac{\partial L}{\partial X_{i,j}} = \sum_{m,n} \frac{\partial L}{\partial Y_{i-m,j-n}} K_{m,n} $$

对于 2×2 最大池化层，只需将梯度传递给前向传播时被选中的最大值位置：

记录前向传播时每个窗口的最大值位置
反向传播时梯度仅传递到原最大值坐标，其他位置置零

import numpy as np

# 正向传播（简化版）def conv_forward(X, K):
    k_height, k_width = K.shape
    out = np.zeros((X.shape[0]-k_height+1, X.shape[1]-k_width+1))
    for i in range(out.shape[0]):
        for j in range(out.shape[1]):
            out[i,j] = np.sum(X[i:i+k_height, j:j+k_width] * K)
    return out

# 反向传播核心实现
def conv_backward(dL_dY, X, K):
    dL_dK = np.zeros_like(K)
    dL_dX = np.zeros_like(X)

    # 计算卷积核梯度
    for m in range(K.shape[0]):
        for n in range(K.shape[1]):
            dL_dK[m,n] = np.sum(X[m:m+dL_dY.shape[0], n:n+dL_dY.shape[1]] * dL_dY)

    # 计算输入梯度（带 zero-padding）pad = K.shape[0] - 1
    padded_dL_dY = np.pad(dL_dY, ((pad,pad),(pad,pad)), 'constant')
    flipped_K = np.flipud(np.fliplr(K))

    for i in range(dL_dX.shape[0]):
        for j in range(dL_dX.shape[1]):
            dL_dX[i,j] = np.sum(padded_dL_dY[i:i+K.shape[0], j:j+K.shape[1]] * flipped_K)

    return dL_dK, dL_dX