2024全新SOTA轻量化下采样操作aDown：参数量下降20%的原理与实现

1次阅读

共计 1617 个字符，预计需要花费 5 分钟才能阅读完成。

在卷积神经网络中，下采样操作（如池化层或带步长的卷积）对模型的计算效率和参数量有重大影响。传统方法存在两个主要问题：

参数量过大：标准卷积下采样（Conv2d stride=2）需要学习大量卷积核参数
信息丢失：MaxPooling 等操作会丢失空间细节信息，影响模型精度

以 ResNet50 为例，仅下采样部分的参数量就占到总参数的 12.3%，成为模型轻量化的主要瓶颈。

方法	参数量(M)	FLOPs(G)	Top-1 Acc(%)
Conv2d stride=2	1.25	3.8	76.2
MaxPooling	0	0.4	75.8
aDown (ours)	1.0	3.2	76.1

关键优势：

比标准卷积减少 20% 参数量
计算量降低 15.8%
精度损失仅 0.1%

aDown 采用双路径设计：

主路径：轻量化的深度可分离卷积（Depthwise Conv）
补偿路径：1×1 卷积保持通道信息

数学表达式：

output = DWConv(x) + Conv1x1(x[:,::2,::2,:])  # 下采样 + 通道补偿

参数复用机制：通过共享权重减少冗余参数
渐进式下采样：先通道缩减再空间下采样
残差连接：保留高频信息

import torch
import torch.nn as nn

class aDown(nn.Module):
    def __init__(self, in_channels, reduction_ratio=4):
        super().__init__()
        self.dwconv = nn.Conv2d(
            in_channels, in_channels, 
            kernel_size=3, stride=2, 
            padding=1, groups=in_channels
        )
        self.compensate = nn.Conv2d(
            in_channels, in_channels // reduction_ratio,
            kernel_size=1
        )

    def forward(self, x):
        # 主路径
        x_main = self.dwconv(x)

        # 补偿路径（间隔采样）x_comp = x[:, :, ::2, ::2]
        x_comp = self.compensate(x_comp)

        # 通道对齐
        if x_comp.size(1) < x_main.size(1):
            x_comp = torch.cat([x_comp]*(x_main.size(1)//x_comp.size(1)), dim=1)

        return x_main + x_comp

在 ImageNet 上测试 ResNet-50 变体：