CNN与Transformer结合实战：如何解决视觉序列建模中的长程依赖问题

1次阅读

共计 1949 个字符，预计需要花费 5 分钟才能阅读完成。

在计算机视觉领域，长程依赖建模一直是一个重要挑战。无论是视频理解中的时序关系，还是大尺寸图像分割中的空间上下文，传统 CNN 由于感受野有限，往往难以捕捉远距离元素之间的关联。而纯 Transformer 虽然擅长建模全局关系，却又缺乏 CNN 固有的局部归纳偏置，导致需要大量数据才能达到良好效果。

纯 CNN 架构
优点：计算效率高，具有平移不变性，适合处理局部特征
缺点：长距离建模能力弱，深层网络容易出现梯度消失
纯 Transformer 架构
优点：强大的全局建模能力，自注意力机制适合捕捉长程依赖
缺点：计算复杂度高（O(n²)），需要大量训练数据
CNN+Transformer 混合架构
结合两者优势：CNN 处理局部特征，Transformer 建模全局关系
计算复杂度介于两者之间，训练更稳定

import torch
import torch.nn as nn

class CNNBackbone(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3)
        self.bn1 = nn.BatchNorm2d(64)
        self.relu = nn.ReLU(inplace=True)
        self.maxpool = nn.MaxPool2d(kernel_size=3, stride=2, padding=1)

        # 后续可以添加更多卷积层

    def forward(self, x):
        x = self.conv1(x)
        x = self.bn1(x)
        x = self.relu(x)
        x = self.maxpool(x)
        return x

使用 1 ×1 卷积调整通道数
将空间维度展平为序列

class PatchEmbed(nn.Module):
    def __init__(self, in_channels=64, embed_dim=512):
        super().__init__()
        self.proj = nn.Conv2d(in_channels, embed_dim, kernel_size=1)

    def forward(self, x):
        x = self.proj(x)  # [B, C, H, W] -> [B, embed_dim, H, W]
        x = x.flatten(2).transpose(1, 2)  # [B, embed_dim, H*W] -> [B, H*W, embed_dim]
        return x

class PositionEmbedding(nn.Module):
    def __init__(self, max_len=1024, embed_dim=512):
        super().__init__()
        self.pos_embed = nn.Parameter(torch.zeros(1, max_len, embed_dim))

    def forward(self, x):
        # x shape: [B, seq_len, embed_dim]
        seq_len = x.shape[1]
        return x + self.pos_embed[:, :seq_len, :]

使用 Apex 或 PyTorch 原生 AMP

典型配置：

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, targets)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()