1×1卷积核的妙用：从原理到经典网络实战解析

1次阅读

共计 2203 个字符，预计需要花费 6 分钟才能阅读完成。

在早期卷积神经网络（CNN）设计中，标准的 3×3 或 5×5 卷积核存在两个明显问题：

通道维度耦合 ：传统卷积同时处理空间（高×宽）和通道（channel）维度信息，输出通道数完全由卷积核数量决定，缺乏灵活调整能力
计算量爆炸 ：当输入输出通道数较大时（如 256→512），标准卷积的参数量会呈平方级增长（3×3×256×512=1.2M 参数）

1×1 卷积（Pointwise Convolution）的提出，正是为了解决这些结构性问题。它就像神经网络中的 ” 瑞士军刀 ”，小巧但功能强大。

比较维度	3×3 卷积	1×1 卷积
参数量	9×Cin×Cout	1×Cin×Cout
计算量 (FLOPs)	H×W×9×Cin×Cout	H×W×1×Cin×Cout
功能	空间 + 通道混合特征提取	纯通道维度操作
感受野	局部区域 (3×3)	单像素点

以输入 256 通道→输出 512 通道为例：
– 3×3 卷积参数量：3×3×256×512=1,179,648
– 1×1 卷积参数量：1×1×256×512=131,072（减少 89%）

1×1 卷积的数学形式可表示为：

$$y_{c_{out}} = \sigma(\sum_{c_{in}=1}^{C_{in}} W_{c_{out},c_{in}} \cdot x_{c_{in}} + b_{c_{out}})$$

其中 $\sigma$ 是非线性激活函数（通常为 ReLU），$W\in\mathbb{R}^{C_{out}\times C_{in}}$ 是卷积核权重。

 输入特征图 [H,W,256] 
     ↓ 1×1 卷积 [256→512]
输出特征图 [H,W,512]

通过在 1×1 卷积后添加 ReLU 激活函数，实际上为网络增加了：
– 跨通道的非线性交互能力
– 特征表示的判别性增强

# PyTorch 实现 Bottleneck 模块
class Bottleneck(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels, out_channels//4, kernel_size=1, stride=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channels//4)
        self.conv2 = nn.Conv2d(out_channels//4, out_channels//4, kernel_size=3, stride=stride, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(out_channels//4)
        self.conv3 = nn.Conv2d(out_channels//4, out_channels, kernel_size=1, stride=1, bias=False)
        self.bn3 = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU(inplace=True)

    def forward(self, x):
        identity = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)
        out = self.bn2(out)
        out = self.relu(out)

        out = self.conv3(out)
        out = self.bn3(out)

        # 残差连接
        if identity.shape != out.shape:
            identity = F.avg_pool2d(identity, kernel_size=2, stride=2)
            identity = torch.cat([identity, torch.zeros_like(identity)], dim=1)

        out += identity
        return self.relu(out)

GoogLeNet 的 Inception 模块使用 1×1 卷积进行：
1. 输入通道压缩（减少 3×3/5×5 卷积的计算量）
2. 多尺度特征融合前统一通道维度

测试条件：输入尺寸 224×224，通道 256→512 变换