从零理解32×32特征4个token：计算机视觉入门实践指南

1次阅读

没有评论

共计 1971 个字符，预计需要花费 5 分钟才能阅读完成。

32×32 的灰度图像展开后是 1024 维向量，而 4 个 token 意味着我们将这个空间压缩为 4 个关键特征块。每个 token 可以理解为图像的一个 ” 语义切片 ”，比如：

Token 1：可能捕捉左上角 8×8 区域的边缘特征
Token 2：可能编码右下角的纹理模式
Token 3/4：负责全局亮度或对比度信息

实际映射时，我们常用 patch_size=16 将原图划分为 4 个 16×16 的区块（因为 32/16=2，2×2= 4 个 patch），这正是 4 个 token 的物理来源。

处理小尺寸图像时最容易遇到：

维度灾难：直接 Flatten 会得到 1024 维向量，与后续网络层参数爆炸
信息稀释：平均池化可能导致关键特征丢失（如细小文字）
通道混淆：RGB 三通道合并处理时颜色信息相互干扰

conv = nn.Sequential(nn.Conv2d(3, 16, kernel_size=3),  # 3 通道→16 特征图
    nn.MaxPool2d(2),                 # 32→16
    nn.Flatten()                     # 16×16×16=4096 维)

缺点：输出维度不可控，4096 维远超需要的 4 个 token

# 将图像切割为 4 个 16×16 的 patch
patch_embed = nn.Conv2d(3, 64, kernel_size=16, stride=16)  # 输出[4, 64]

优势：显式控制 token 数量，每个 patch 对应 1 个 token

class Tokenizer(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 8, 5, padding=2)  # 保持 32 尺寸
        self.gap = nn.AdaptiveAvgPool2d((2,2))      # 32→2，输出 2×2×8=32 维

    def forward(self, x):
        return self.gap(self.conv1(x)).flatten(1)   # 最终输出 4×8=32 维

特点：通过全局池化动态调整维度，参数量减少 80%

完整可运行的 Patch Embedding 示例：

import torch
import torch.nn as nn

class ImageToToken(nn.Module):
    def __init__(self, img_size=32, patch_size=16, in_chans=3, embed_dim=64):
        super().__init__()
        self.proj = nn.Conv2d(in_chans, embed_dim, 
                            kernel_size=patch_size,
                            stride=patch_size)  # 关键参数

    def forward(self, x):
        # x: [B, C, H, W] → [B, num_patches, embed_dim]
        x = self.proj(x)           # [1, 3, 32, 32] → [1, 64, 2, 2]
        x = x.flatten(2).transpose(1,2)  # [1, 4, 64]
        return x

# 测试案例
transformer = ImageToToken()
fake_img = torch.randn(1, 3, 32, 32)
tokens = transformer(fake_img)
print(tokens.shape)  # 输出: torch.Size([1, 4, 64])

易错点：
– 忘记 flatten(2) 会导致维度错误
– embed_dim需要与后续 Transformer 层对齐