1×1卷积网络结构图绘制指南：从原理到可视化实现

1次阅读

共计 2839 个字符，预计需要花费 8 分钟才能阅读完成。

1×1 卷积作为深度学习中的 ” 网络微调器 ”，在 ResNet 的瓶颈层实现通道降维（如 256→64），在 MobileNet 中构成深度可分离卷积的核心组件。但开发者常陷入两个理解误区：

空间维度误解：认为 1×1 卷积会改变特征图尺寸（实际仅当 stride>1 时影响）
通道变换混淆：误将输出通道数理解为卷积核数量（实际是学习到的特征组合方式）

import matplotlib.pyplot as plt

# 需要手动计算每个张量的维度
plt.figure(figsize=(10,4))
plt.title("1x1 Conv Manual Diagram")
plt.axis('off')
# 绘制箭头和维度标注代码约需 20+ 行...

局限性：
– 网络结构变更时需要重绘全部元素
– 高维数据（如 4D 张量）难以直观表达

from torchviz import make_dot

model = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=1)
x = torch.randn(1, 3, 224, 224)  # (batch, C, H, W)
y = model(x)
dot = make_dot(y, params=dict(model.named_parameters()))

优势：
– 自动跟踪计算图依赖关系
– 动态适应网络结构调整
– 支持导出为 PDF/SVG 矢量格式

import torch
import torch.nn as nn

class Bottleneck(nn.Module):
    """
    in_dim: 输入通道数
    reduce_ratio: 降维比例（如 0.25 表示输出通道 =in_dim//4）"""
    def __init__(self, in_dim, reduce_ratio=0.25):
        super().__init__()
        mid_dim = int(in_dim * reduce_ratio)

        # 1×1 降维卷积
        self.conv1 = nn.Conv2d(in_dim, mid_dim, kernel_size=1, bias=False)
        self.bn1 = nn.BatchNorm2d(mid_dim)

        # 3×3 空间卷积（保持维度）self.conv2 = nn.Conv2d(mid_dim, mid_dim, kernel_size=3, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(mid_dim)

        # 1×1 升维卷积
        self.conv3 = nn.Conv2d(mid_dim, in_dim, kernel_size=1, bias=False)
        self.relu = nn.ReLU(inplace=True)

    def forward(self, x):
        identity = x

        out = self.conv1(x)  # [N,C,H,W]→[N,C/4,H,W]
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)  # 保持维度
        out = self.bn2(out)

        out = self.conv3(out)  # [N,C/4,H,W]→[N,C,H,W]
        return self.relu(out + identity)  # 残差连接

from torchviz import make_dot

model = Bottleneck(in_dim=256)
x = torch.randn(2, 256, 56, 56)  # batch=2, 256 通道, 56×56 分辨率
y = model(x)

# 关键参数说明：# - show_attrs: 显示参数属性
# - show_saved: 显示梯度计算节点
dot = make_dot(y, params=dict(model.named_parameters()), 
              show_attrs=True, show_saved=True)
dot.render('bottleneck', format='png')  # 导出为 PNG

生成的结构图会明确显示：
– 输入张量形状：[2,256,56,56]
– 经过 conv1 后的形状：[2,64,56,56]（假设 reduce_ratio=0.25）
– 最终输出保持与输入相同维度

当出现 RuntimeError: Given groups=1, weight of size [64,128,1,1], expected input[2,256,28,28] to have 128 channels 错误时：

检查前一层的输出通道：print(x.shape[1])
验证卷积层定义：nn.Conv2d(前一层的输出通道数, 本层输出通道数, 1)
使用网络钩子打印各层维度：

def hook(module, input, output):
    print(f"{module.__class__.__name__}: {input[0].shape} → {output.shape}")

model.conv1.register_forward_hook(hook)

当 1×1 卷积后接 BN 层时：

训练阶段：需设置conv.bias=False，因为 BN 会抵消偏置项作用
推理阶段：可合并卷积与 BN 参数提升速度：

# 合并公式：W_merged = W_conv * (gamma / sqrt(var + eps))
#            b_merged = (beta - gamma * mean / sqrt(var + eps))
with torch.no_grad():
    merged_weight = model.conv1.weight * (model.bn1.weight / torch.sqrt(model.bn1.running_var + model.bn1.eps))
    model.conv1.weight.copy_(merged_weight)

对于输入尺寸 $N \times C_{in} \times H \times W$，1×1 卷积的计算量为：

$$
FLOPs = N \times C_{out} \times C_{in} \times H \times W
$$

典型场景对比：