从零理解ASPP与反向传播：深度学习中的多尺度特征融合机制

1次阅读

共计 2578 个字符，预计需要花费 7 分钟才能阅读完成。

传统 CNN 在应对多尺度目标检测时存在明显的局限性。由于标准卷积层的感受野固定，当图像中包含不同大小的目标时，网络难以同时捕获小目标和大目标的特征。例如，在语义分割任务中，一个场景可能同时包含远处的行人（小目标）和近处的建筑（大目标），传统 CNN 往往只能较好地处理其中一种尺度的目标。

为了解决这个问题，研究人员提出了多种多尺度特征提取方法。普通金字塔池化（如 SPP）通过不同大小的池化窗口来获取多尺度特征，但这种方法有两个主要缺点：

池化操作会丢失空间细节信息
增加了大量参数

ASPP（Atrous Spatial Pyramid Pooling）通过空洞卷积（dilated convolution）解决了这些问题。空洞卷积可以在不增加参数量的情况下扩大感受野。具体来说，ASPP 使用多个并行空洞卷积层，每个层具有不同的 dilation rate，从而捕获不同尺度的特征。

下面是一个使用 PyTorch 实现 ASPP 模块的示例代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

class ASPP(nn.Module):
    def __init__(self, in_channels, out_channels=256):
        super(ASPP, self).__init__()

        # 1x1 卷积
        self.conv1x1 = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=1, padding=0),
            nn.BatchNorm2d(out_channels),
            nn.ReLU())

        # 3x3 卷积，dilation rate=6
        self.conv3x3_1 = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=1, padding=6, dilation=6),
            nn.BatchNorm2d(out_channels),
            nn.ReLU())

        # 3x3 卷积，dilation rate=12
        self.conv3x3_2 = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=1, padding=12, dilation=12),
            nn.BatchNorm2d(out_channels),
            nn.ReLU())

        # 3x3 卷积，dilation rate=18
        self.conv3x3_3 = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=1, padding=18, dilation=18),
            nn.BatchNorm2d(out_channels),
            nn.ReLU())

        # 全局平均池化
        self.global_avg_pool = nn.Sequential(nn.AdaptiveAvgPool2d((1, 1)),
            nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=1, padding=0),
            nn.BatchNorm2d(out_channels),
            nn.ReLU())

        # 输出层
        self.conv_out = nn.Sequential(nn.Conv2d(out_channels*5, out_channels, kernel_size=1, stride=1, padding=0),
            nn.BatchNorm2d(out_channels),
            nn.ReLU())

    def forward(self, x):
        x1 = self.conv1x1(x)
        x2 = self.conv3x3_1(x)
        x3 = self.conv3x3_2(x)
        x4 = self.conv3x3_3(x)
        x5 = self.global_avg_pool(x)
        x5 = F.interpolate(x5, size=x.size()[2:], mode='bilinear', align_corners=True)

        x = torch.cat((x1, x2, x3, x4, x5), dim=1)
        x = self.conv_out(x)
        return x

ASPP 模块的反向传播过程与标准卷积类似，但由于使用了空洞卷积，需要特别注意梯度计算。对于空洞卷积，前向传播可以表示为：

$$y[i,j] = \sum_{m,n} x[i+r\cdot m, j+r\cdot n] \cdot w[m,n]$$

其中 $r$ 是 dilation rate。反向传播时，梯度计算为：

$$\frac{\partial L}{\partial w[m,n]} = \sum_{i,j} \frac{\partial L}{\partial y[i,j]} \cdot x[i+r\cdot m, j+r\cdot n]$$

$$\frac{\partial L}{\partial x[i+r\cdot m, j+r\cdot n]} = \frac{\partial L}{\partial y[i,j]} \cdot w[m,n]$$

可以看到，空洞卷积并不改变梯度传播的基本规则，只是改变了输入和输出位置之间的对应关系。

在实现 ASPP 时，有几个常见错误需要注意：

dilation_rate 与 kernel_size 不匹配 ：确保 padding = (kernel_size – 1) * dilation_rate // 2，这样才能保持特征图大小不变
特征图对齐问题 ：在拼接不同分支的特征图前，要确保它们的大小相同
内存消耗过大 ：ASPP 会显著增加内存使用，特别是在高分辨率图像上，可以考虑降低中间通道数

在 Pascal VOC 数据集上的实验结果表明，使用 ASPP 可以显著提升模型性能：