Vision Transformer入门指南：从基础原理到实战应用

1次阅读

共计 2426 个字符，预计需要花费 7 分钟才能阅读完成。

在计算机视觉领域，卷积神经网络（CNN）长期以来占据主导地位。然而，CNN 存在一些固有局限性，例如局部感受野限制了全局信息的捕获，固定的卷积核难以适应不同尺度的特征。2020 年，Vision Transformer（ViT）的提出打破了这一局面，将自然语言处理中成功的 Transformer 架构引入视觉任务，实现了从局部到全局建模的跨越。

ViT 的核心创新在于完全摒弃了卷积操作，转而使用纯注意力机制处理图像数据。这种架构不仅能捕捉长距离依赖关系，还具有更强的可解释性——模型可以直观展示哪些图像区域获得了更多关注。

自注意力机制通过计算查询（Query）、键（Key）和值（Value）之间的关系来分配注意力权重。在视觉任务中：

每个图像块被视为一个 ” 词 ”
通过计算块间相似度得到注意力分布
最终输出是各块值的加权和

这种机制使模型能够动态关注与当前任务最相关的图像区域，无论它们在图像中的物理距离如何。

图像分块（Patches）：
将输入图像划分为固定大小的非重叠块（如 16×16 像素）
每个块展平后通过线性投影得到特征向量
这些向量相当于 NLP 中的词嵌入
位置编码（Position Embedding）：
由于 Transformer 本身不包含位置信息，需显式添加位置编码
常用可学习的位置向量，与图像块特征相加
确保模型理解图像的空间结构

以下是一个精简版 ViT 的 PyTorch 实现（省略了部分辅助函数）：

import torch
import torch.nn as nn

class PatchEmbedding(nn.Module):
    """将图像分割为块并嵌入"""
    def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=768):
        super().__init__()
        self.proj = nn.Conv2d(in_chans, embed_dim, 
                             kernel_size=patch_size, 
                             stride=patch_size)  # 用卷积实现分块

    def forward(self, x):
        x = self.proj(x)  # [B, C, H, W] -> [B, E, H/P, W/P]
        x = x.flatten(2).transpose(1, 2)  # 展平为序列 [B, N, E]
        return x

class VisionTransformer(nn.Module):
    def __init__(self, num_classes=1000):
        super().__init__()
        self.patch_embed = PatchEmbedding()
        self.pos_embed = nn.Parameter(torch.zeros(1, 196 + 1, 768))  # 可学习位置编码
        self.cls_token = nn.Parameter(torch.zeros(1, 1, 768))  # 分类令牌
        self.blocks = nn.TransformerEncoder(nn.TransformerEncoderLayer(d_model=768, nhead=12), 
            num_layers=12)
        self.head = nn.Linear(768, num_classes)

    def forward(self, x):
        # 1. 分块嵌入
        x = self.patch_embed(x)  # [B, 196, 768]

        # 2. 添加分类令牌和位置编码
        cls_tokens = self.cls_token.expand(x.shape[0], -1, -1)
        x = torch.cat((cls_tokens, x), dim=1)  # [B, 197, 768]
        x = x + self.pos_embed

        # 3. 通过 Transformer 编码器
        x = self.blocks(x)

        # 4. 取分类令牌对应的输出做预测
        x = x[:, 0]
        x = self.head(x)
        return x