1×1卷积的作用解析：从原理到经典网络应用

1次阅读

没有评论

共计 1525 个字符，预计需要花费 4 分钟才能阅读完成。

传统卷积操作（如 3×3 或 5×5 卷积）在深度学习中被广泛应用，但它们存在一些局限性：

计算量大 ：随着网络深度增加，大尺寸卷积核会显著增加计算负担
通道数固定 ：难以灵活调整特征图的通道数
非线性有限 ：单一卷积层提供的非线性表达能力有限

1×1 卷积正是在这样的背景下被提出的创新解决方案。它看似简单，却在多个方面带来了显著改进。

1×1 卷积最直接的作用是改变特征图的通道数。通过控制卷积核的数量，可以自由地增加或减少通道数，这在网络设计时非常有用。

当需要升维时，使用多个 1×1 卷积核
当需要降维时，使用少量 1×1 卷积核

虽然 1×1 卷积在空间维度上不做变换，但每个 1×1 卷积操作后都会接一个非线性激活函数（如 ReLU），这为网络增加了额外的非线性表达能力。

相比大尺寸卷积核，1×1 卷积的计算量要小得多。特别是在处理高通道数的特征图时，使用 1×1 卷积进行降维可以大幅减少后续大卷积核的计算量。

在 ResNet 的 bottleneck 结构中，1×1 卷积发挥了关键作用：

第一个 1×1 卷积用于降维，减少通道数
中间的 3×3 卷积处理空间特征
最后的 1×1 卷积用于恢复通道数

这种设计显著降低了计算量，同时保持了模型的表达能力。

Inception 模块通过并行使用不同尺寸的卷积核来捕获多尺度特征。1×1 卷积在其中有两个主要作用：

作为独立的特征提取路径
在其他路径（如 3×3、5×5）前进行降维，减少计算量

import torch
import torch.nn as nn

# 简单的 1×1 卷积层示例
conv1x1 = nn.Conv2d(in_channels=64, out_channels=32, kernel_size=1)

# ResNet bottleneck 中的 1×1 卷积实现
class Bottleneck(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels, out_channels//4, kernel_size=1, stride=stride)
        self.conv2 = nn.Conv2d(out_channels//4, out_channels//4, kernel_size=3, padding=1)
        self.conv3 = nn.Conv2d(out_channels//4, out_channels, kernel_size=1)

    def forward(self, x):
        out = self.conv1(x)
        out = torch.relu(out)
        out = self.conv2(out)
        out = torch.relu(out)
        out = self.conv3(out)
        return out

通过实验对比可以发现：