共计 2253 个字符，预计需要花费 6 分钟才能阅读完成。

为什么选择 BERT 处理图片分类？

传统 CNN 在图片分类任务中表现优异，但当遇到以下场景时会遇到瓶颈：

• 需要理解图片中的语义关联（如 ” 拿着手机的人 ”）
• 数据量有限导致过拟合
• 多模态任务需要文本和图片联合理解

BERT 虽然最初为 NLP 设计，但其 Transformer 架构具有独特优势：

1. 注意力机制能捕捉长距离依赖关系
2. 预训练权重包含丰富的语义知识
3. 微调成本低于从头训练模型

技术方案选型

对比主流预训练模型在 CIFAR-10 的表现：

关键发现：

• 小规模数据集上 BERT 也能达到接近 SOTA 的效果
• 通过模型裁剪可大幅降低资源消耗
• 当需要结合文本特征时优势更明显

完整实现流程

数据预处理

图片需要转换为 BERT 接受的序列格式：

1. 使用 OpenCV 读取并 resize 到固定尺寸
2. 将像素值归一化到 [0,1] 范围
3. 展平为序列并添加 [CLS]、[SEP] 标记

import torch
import cv2

def preprocess_image(img_path, img_size=224):
    # 读取图片
    img = cv2.imread(img_path)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

    # 调整尺寸
    img = cv2.resize(img, (img_size, img_size))

    # 归一化并展平
    img = img / 255.0
    patches = img.reshape(-1, img.shape[-1])  # (seq_len, channels)

    # 添加特殊 token
    patches = np.vstack([np.zeros((1, 3)),  # [CLS]
        patches,
        np.zeros((1, 3))   # [SEP]
    ])

    return torch.FloatTensor(patches)

模型微调

关键修改点：

1. 替换原始 word embedding 为图片 patch 投影层
2. 调整 position embedding 适应图片序列长度
3. 在 [CLS] 位置添加分类头

from transformers import BertModel
import torch.nn as nn

class ImageBERT(nn.Module):
    def __init__(self, num_classes):
        super().__init__()
        self.bert = BertModel.from_pretrained('bert-base-uncased')

        # 替换 embedding 层
        self.patch_embed = nn.Linear(3, 768)  # RGB -> hidden_size

        # 分类头
        self.classifier = nn.Linear(768, num_classes)

    def forward(self, x):
        # 投影图片 patch
        x = self.patch_embed(x)  # (bs, seq_len, hidden)

        # BERT 处理
        outputs = self.bert(
            inputs_embeds=x,
            attention_mask=torch.ones(x.shape[:2]).to(x.device)
        )

        # 取 [CLS] 位置输出
        cls_output = outputs.last_hidden_state[:, 0, :]
        return self.classifier(cls_output)

实战优化技巧

训练加速

1. 混合精度训练

   scaler = torch.cuda.amp.GradScaler()
   
   with torch.cuda.amp.autocast():
       outputs = model(inputs)
       loss = criterion(outputs, labels)
   
   scaler.scale(loss).backward()
   scaler.step(optimizer)
   scaler.update()

2. 梯度累积

   for i, (inputs, labels) in enumerate(train_loader):
       loss = model(inputs, labels)
       loss = loss / accumulation_steps
       loss.backward()
   
       if (i+1) % accumulation_steps == 0:
           optimizer.step()
           optimizer.zero_grad()

显存优化

1. 梯度检查点

   model.gradient_checkpointing_enable()

2. 动态 padding

   collate_fn=lambda x: pad_sequence(x, batch_first=True)

常见问题解决

• 问题：loss 不下降
• 检查学习率是否太大 / 太小

• 验证 embedding 层是否正常更新

• 问题：显存溢出

• 减小 batch_size

• 使用梯度检查点

• 问题：过拟合

• 添加 Dropout 层
• 早停法

进阶探索方向

1. 多模态融合：同时输入图片和文本描述
2. 知识蒸馏：用大模型指导小模型
3. 自监督预训练：在目标域继续 pretrain

个人实践心得

经过在花卉分类数据集上的测试，发现：

• BERT-base 在 5000 张图片上达到 85% 准确率
• 微调全部参数比只调分类头高 3 - 5 个点
• 学习率设置为 5e- 5 时效果最佳

建议初次尝试时：

1. 先用小规模数据集验证流程
2. 从 BERT-tiny 开始实验
3. 优先微调最后 3 层 + 分类头

这套方案特别适合需要结合文本信息的场景，比如：

• 医学影像报告生成
• 电商商品多模态搜索
• 社交媒体内容审核

期待看到大家更有创意的应用！