BERT预训练模型在图片处理中的应用：从原理到实践

1次阅读

共计 2103 个字符，预计需要花费 6 分钟才能阅读完成。

传统的图片处理方法主要依赖卷积神经网络（CNN）进行特征提取，虽然 CNN 在图像识别任务上表现优异，但仍存在一些局限性：

局部感受野限制：CNN 通过局部卷积核捕捉特征，难以建模长距离依赖关系。
手工设计架构：需要针对不同任务调整网络深度、卷积核大小等超参数。
跨模态融合困难：传统方法难以统一处理文本和图像的联合特征表示。

全局注意力机制：通过自注意力捕捉图片区域间的长程依赖。
预训练通用性：在大规模数据上预训练后，可微调适配多种下游任务。
多模态扩展性：原生支持文本输入，便于构建图文联合模型。

模型	注意力范围	输入类型	典型应用场景
ResNet	局部卷积	纯图片	单模态分类 / 检测
ViT	全局分块	纯图片	大规模图像识别
BERT	全局 + 双向	文本 / 序列化图片	多模态联合任务

图片序列化：将图片分割为 16×16 的 patch，线性映射为 768 维向量（类似 word embedding）
位置编码：添加可学习的位置编码保留空间信息
特殊标记 ：添加[CLS] 标记用于分类任务，[SEP]标记分隔不同模态

早期融合：将图片 patch 与文本 token 拼接后输入 BERT
晚期融合：分别处理图文特征后通过交叉注意力交互

from transformers import BertTokenizer, BertModel
import torch
import torchvision.transforms as T
from PIL import Image

# 1. 图片预处理
transform = T.Compose([T.Resize(256),
    T.CenterCrop(224),
    T.ToTensor(),
    T.Normalize(mean=[0.485, 0.456, 0.406], 
                std=[0.229, 0.224, 0.225])
])

# 2. 将图片转为 patch 序列
def image_to_patches(img_tensor, patch_size=16):
    # 输入: [3, 224, 224] -> 输出: [196, 768]
    patches = img_tensor.unfold(1, patch_size, patch_size)\ 
                 .unfold(2, patch_size, patch_size)
    return patches.permute(1,2,0,4,3).flatten(2,4)

# 3. 构建 BERT 输入
img = Image.open('example.jpg')
img_tensor = transform(img)
patches = image_to_patches(img_tensor)

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# 添加特殊标记
inputs = {
    'input_embeds': torch.cat([
        model.embeddings.word_embeddings(torch.tensor([[tokenizer.cls_token_id]])
        ),  # [CLS]
        patches.unsqueeze(0),  # 图片 patch
        model.embeddings.word_embeddings(torch.tensor([[tokenizer.sep_token_id]])
        )   # [SEP]
    ], dim=1)
}

# 4. 前向传播
outputs = model(**inputs)
cls_embedding = outputs.last_hidden_state[:, 0]  # 取 [CLS] 标记对应特征