3×3卷积下采样网络入门指南：从原理到PyTorch实现

1次阅读

没有评论

共计 1635 个字符，预计需要花费 5 分钟才能阅读完成。

在卷积神经网络（CNN）中，下采样（Downsampling）是一个关键操作，它通过降低特征图的分辨率来减少计算量并扩大感受野。传统方法通常使用 MaxPooling，但近年来，使用卷积进行下采样的方式越来越流行。

MaxPooling 的优点：计算简单，能有效保留主要特征。
MaxPooling 的缺点：丢失部分空间信息，无法学习参数。
卷积下采样的优点：可以学习参数，保留更多信息，灵活性高。
卷积下采样的缺点：计算量稍大，需要调整步长（stride）以实现下采样。

3 个 3 ×3 卷积下采样的核心思想是通过堆叠多个 3 ×3 卷积层来实现下采样。以下是其数学原理：

感受野计算：每个 3 ×3 卷积层的感受野为 3 ×3，堆叠 3 层后的总感受野为 7 ×7（计算公式：$RF = 1 + \sum_{i=1}^n (k_i – 1) \times \prod_{j=1}^{i-1} s_j$，其中 $k_i$ 为卷积核大小，$s_j$ 为步长）。
特征图尺寸变化：假设输入特征图尺寸为 $H \times W$，经过每个 3 ×3 卷积（stride=2, padding=1）后，尺寸变为 $\lfloor \frac{H + 2p – k}{s} \rfloor + 1$，其中 $p$ 为 padding，$k$ 为卷积核大小，$s$ 为 stride。

以下是一个完整的 3 ×3 卷积下采样模块的实现，使用 nn.Sequential 构建：

import torch
import torch.nn as nn

class DownsampleBlock(nn.Module):
    def __init__(self, in_channels, out_channels):
        super(DownsampleBlock, self).__init__()
        self.conv_layers = nn.Sequential(
            # 第一个 3x3 卷积，stride= 2 实现下采样
            nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=2, padding=1, bias=False),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(inplace=True),
            # 第二个 3x3 卷积，stride= 1 保持尺寸
            nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(inplace=True),
            # 第三个 3x3 卷积，stride= 1 保持尺寸
            nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(inplace=True)
        )

    def forward(self, x):
        return self.conv_layers(x)

在 CIFAR-10 数据集上，我们对比了传统 MaxPooling 和 3 ×3 卷积下采样的性能：