CNN与Transformer结合实战：从模型架构到代码实现

1次阅读

没有评论

共计 2270 个字符，预计需要花费 6 分钟才能阅读完成。

在计算机视觉领域，CNN（卷积神经网络）和 Transformer 是两种主流架构，但它们各自存在明显的局限性。

CNN 的短板：虽然 CNN 擅长捕捉局部特征（如边缘、纹理），但由于卷积核大小的限制，难以建模长距离依赖关系。比如在图像分类任务中，识别一个物体可能需要结合图像中相隔较远的区域信息，而普通 CNN 的深层感受野可能仍无法覆盖。
Transformer 的问题：虽然 Transformer 通过自注意力机制能够捕捉全局关系，但对图像这种高维数据，计算复杂度会随输入尺寸平方级增长。例如，一张 224×224 的图片 flattened 后会产生 50176 个 token，直接应用标准 Transformer 会导致巨大的计算和内存开销。

为了解决上述问题，研究者提出了多种混合架构。以下是两种典型方案的对比：

Convolutional Transformer：
先用 CNN 提取局部特征，再将特征图转换为 token 序列输入 Transformer
优点：降低序列长度，保留空间结构
缺点：早期卷积可能损失部分全局信息
CoAtNet：
将卷积和注意力机制并行或串行组合
优点：同时利用卷积的局部性和注意力的全局性
缺点：结构设计更复杂

下面我们用 PyTorch 实现一个简单的混合模型，包含 CNN 特征提取和 Transformer 编码两部分。

import torch
import torch.nn as nn
from torch.nn import TransformerEncoder, TransformerEncoderLayer

class HybridModel(nn.Module):
    def __init__(self, image_size=32, patch_size=4, num_classes=10):
        super().__init__()

        # CNN 特征提取
        self.cnn = nn.Sequential(nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1),
            nn.BatchNorm2d(64),
            nn.ReLU(),
            nn.MaxPool2d(2, 2)  # 下采样减少计算量
        )

        # 计算经过 CNN 后的特征图尺寸
        cnn_output_size = image_size // 2
        num_patches = (cnn_output_size // patch_size) ** 2

        # Transformer 编码器
        encoder_layer = TransformerEncoderLayer(
            d_model=64,  # 与 CNN 输出通道数一致
            nhead=8,     # 多头注意力
            dim_feedforward=256,
            dropout=0.1
        )
        self.transformer = TransformerEncoder(encoder_layer, num_layers=3)

        # 位置编码（简化版）self.pos_embedding = nn.Parameter(torch.randn(1, num_patches, 64))

        # 分类头
        self.classifier = nn.Linear(64 * num_patches, num_classes)

    def forward(self, x):
        # CNN 特征提取
        x = self.cnn(x)  # [B, 64, 16, 16]

        # 将特征图转为 token 序列
        B, C, H, W = x.shape
        x = x.view(B, C, -1).permute(0, 2, 1)  # [B, num_patches, C]

        # 添加位置编码
        x = x + self.pos_embedding

        # Transformer 编码
        x = self.transformer(x)

        # 分类
        x = x.flatten(1)
        x = self.classifier(x)
        return x

关键实现细节说明：