1×1卷积的深度解析：从原理到经典网络应用

1次阅读

共计 2082 个字符，预计需要花费 6 分钟才能阅读完成。

1×1 卷积的本质是在通道维度上的全连接操作。假设输入特征图尺寸为 H×W×C_in，卷积核尺寸为 1×1×C_in×C_out，则输出特征图尺寸为 H×W×C_out。其数学表达式为：

output(x,y,j) = sum_{i=1}^{C_in} input(x,y,i) * kernel(1,1,i,j)

通道维度操作 ：与常规卷积不同，1×1 卷积不进行空间信息混合（因为核尺寸为 1×1），而是专门处理通道间关系
计算特性 ：每个输出通道是输入通道的线性组合，相当于在通道维度做了一次仿射变换

当 C_out < C_in 时，1×1 卷积可以显著减少通道数：

减少后续计算量（如 3×3 卷积的计算成本与输入通道数成正比）
典型应用：ResNet 的 bottleneck 结构先压缩通道再恢复

当 C_out > C_in 时，可以增加特征表达能力：

为后续分支提供更丰富的特征表示
典型应用：Inception 模块中用于扩展分支通道

即使保持通道数不变（C_out = C_in），1×1 卷积也能：

建立通道间的非线性关系（配合激活函数）
实现类似 attention 的通道重要性加权

Input
  ↓
[1×1, 64]  # 降维
  ↓
[3×3, 64]  # 空间特征提取
  ↓
[1×1, 256] # 升维 + 残差连接

计算量减少：相比直接使用 3×3 卷积，参数量减少约 9 倍
保持表达能力：通过升维恢复通道数

          → [1×1, 64] →
Input → → [1×1,96]→[3×3,128] → 通道拼接
          → [1×1,16]→[5×5,32] →
          → [Pool]→[1×1,32] →

1×1 卷积用于：
降维控制计算量（如 5×5 分支前）
统一不同分支的输出通道

import torch.nn as nn

# 基础 1×1 卷积层
conv1x1 = nn.Conv2d(in_channels=256, 
                   out_channels=64,
                   kernel_size=1,
                   stride=1,
                   padding=0)

# ResNet bottleneck 示例
class Bottleneck(nn.Module):
    def __init__(self, in_dim, reduce_dim, out_dim):
        super().__init__()
        self.conv1 = nn.Sequential(nn.Conv2d(in_dim, reduce_dim, 1, bias=False),
            nn.BatchNorm2d(reduce_dim),
            nn.ReLU(inplace=True)
        )
        self.conv2 = nn.Sequential(nn.Conv2d(reduce_dim, reduce_dim, 3, padding=1, bias=False),
            nn.BatchNorm2d(reduce_dim),
            nn.ReLU(inplace=True)
        )
        self.conv3 = nn.Sequential(nn.Conv2d(reduce_dim, out_dim, 1, bias=False),
            nn.BatchNorm2d(out_dim)
        )

    def forward(self, x):
        identity = x
        out = self.conv1(x)
        out = self.conv2(out)
        out = self.conv3(out)
        out += identity  # 残差连接
        return nn.ReLU()(out)