ASPP与反向传播的深度结合：解决语义分割中的多尺度特征融合难题

1次阅读

没有评论

共计 1578 个字符，预计需要花费 4 分钟才能阅读完成。

在语义分割任务中，模型需要同时处理不同大小的物体：从远处的行人到近处的车辆，从细长的电线杆到宽阔的道路。传统 CNN 的固定感受野会导致两种典型问题：

小物体消失 ：当物体尺寸小于感受野时，容易被周围环境特征淹没
边界模糊 ：物体边缘的细节因多次下采样而丢失

举个实际例子，在 Cityscapes 数据集中，交通标志和行人的像素占比可能不足 0.1%，但它们的准确识别对自动驾驶至关重要。

目前主流的多尺度特征处理方法主要有三种：

金字塔池化 (PSPNet)
优点：通过不同大小的池化窗口捕获全局上下文
缺点：固定池化操作会损失空间细节
U-Net 跳跃连接
优点：直接融合浅层高分辨率特征
缺点：低级特征包含大量噪声
ASPP 模块
优点：并行空洞卷积保持特征图尺寸不变
特点：通过膨胀率控制感受野大小

图示：典型 ASPP 模块包含 1×1 卷积和三个不同膨胀率的 3×3 空洞卷积

我们发现传统 ASPP 平等对待所有分支的特征图，但实际不同尺度特征对最终结果的贡献度应该是自适应的。解决方案是在每个分支后添加可学习的权重参数，通过反向传播自动优化：

不同膨胀率分支产生特征图
对每个分支特征进行通道注意力加权
反向传播时梯度会根据各分支的贡献度自动分配

import torch
import torch.nn as nn
import torch.nn.functional as F

class AdaptiveASPP(nn.Module):
    def __init__(self, in_channels, out_channels=256):
        super().__init__()
        # 不同膨胀率的并行卷积
        self.conv1 = nn.Conv2d(in_channels, out_channels, 1)
        self.conv2 = nn.Conv2d(in_channels, out_channels, 3, 
                              padding=6, dilation=6)
        self.conv3 = nn.Conv2d(in_channels, out_channels, 3,
                              padding=12, dilation=12)

        # 可学习的特征权重
        self.weights = nn.Parameter(torch.ones(3)/3)

    def forward(self, x):
        # 各分支特征提取
        f1 = self.conv1(x)
        f2 = self.conv2(x)
        f3 = self.conv3(x)

        # 软加权融合
        weights = F.softmax(self.weights, dim=0)
        return weights[0]*f1 + weights[1]*f2 + weights[2]*f3

在 Cityscapes 验证集（500 张图像）上的测试结果：