基于BERT预训练语言模型的图片情感分析实战：从模型微调到生产部署

1次阅读

没有评论

共计 3007 个字符，预计需要花费 8 分钟才能阅读完成。

传统图片情感分析方法（如 ResNet）虽然在视觉特征提取上表现优异，但在细粒度情感识别上存在明显局限性。这些局限性主要体现在以下几个方面：

语义理解不足：纯视觉模型难以捕捉图片中隐含的隐喻、文化背景等深层语义。例如，一张黑白色调的城市照片，可能是艺术表达，也可能是压抑情绪，仅靠像素信息难以区分。
上下文缺失：社交媒体图片常配有文字描述（如微博配文），传统方法无法有效利用这部分信息。实验表明，结合文本特征可使准确率提升 12-15%。
细粒度分类困难：当情感标签从二分类（正 / 负）扩展到细粒度分类（如开心、愤怒、悲伤等）时，ResNet-50 的准确率会从 92% 骤降至 68%。

我们对比了三种主流方案：

ViT（Vision Transformer）：纯视觉 Transformer，在 ImageNet 上表现优异，但需要大量训练数据（>100 万张），且无法处理文本信息。
CLIP：OpenAI 的多模态模型，零样本能力强，但模型体积大（ViT-L/14 达 2.5GB），推理延迟高（>200ms）。
BERT+CNN 混合架构：
使用轻量级 CNN（如 EfficientNet-B0）提取视觉特征
BERT-base 处理文本描述（平均 3.2 个词 /KPI）
模型体积仅 420MB，推理延迟控制在 50ms 内

核心创新点在于跨模态注意力层：

视觉特征处理：
CNN 输出 7x7x512 特征图
通过 1 ×1 卷积压缩到 7x7x256
展平为 49×256 序列
文本特征处理：
BERT 取 [CLS] 标记的输出（768 维）
通过全连接层映射到 256 维

跨模态注意力：

class CrossModalAttention(nn.Module):
    def __init__(self, dim=256):
        super().__init__()
        self.q = nn.Linear(dim, dim)
        self.k = nn.Linear(dim, dim)
        self.v = nn.Linear(dim, dim)

    def forward(self, visual_feats, text_feat):
        # visual_feats: [B, 49, 256]
        # text_feat: [B, 256]
        Q = self.q(text_feat.unsqueeze(1))  # [B,1,256]
        K = self.k(visual_feats)           # [B,49,256]
        V = self.v(visual_feats)

        attn = torch.softmax((Q @ K.transpose(1,2)) / 16, dim=-1)
        return (attn @ V).squeeze(1)  # [B,256]

通过网格搜索确定最佳配置：

BERT 微调策略：仅解冻最后 2 层 Transformer，学习率设为 CNN 部分的 1 /5
学习率调度：CosineAnnealingLR + 3 周期 warmup
损失函数：α-balanced Focal Loss (γ=2, α=[0.2,0.3,0.5])

# 视觉特征提取器
class VisualEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.cnn = EfficientNet.from_pretrained('efficientnet-b0')
        self.proj = nn.Conv2d(1280, 256, 1)  # 降维

    def forward(self, x):
        # x: [B,3,224,224]
        features = self.cnn.extract_features(x)  # [B,1280,7,7]
        return self.proj(features)  # [B,256,7,7]

# 文本特征提取器        
class TextEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.bert = BertModel.from_pretrained('bert-base-chinese')
        self.fc = nn.Linear(768, 256)

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids, attention_mask)
        return self.fc(outputs.last_hidden_state[:,0])  # [B,256]

class FocalLoss(nn.Module):
    def __init__(self, alpha=None, gamma=2):
        super().__init__()
        self.alpha = torch.tensor(alpha) if alpha else None
        self.gamma = gamma

    def forward(self, inputs, targets):
        BCE_loss = F.cross_entropy(inputs, targets, reduction='none')
        pt = torch.exp(-BCE_loss)

        if self.alpha:
            at = self.alpha.to(inputs.device)[targets]
            FL = at * (1-pt)**self.gamma * BCE_loss
        else:
            FL = (1-pt)**self.gamma * BCE_loss

        return FL.mean()

关键优化点：

将 BERT 和 CNN 分别转换为 ONNX 格式
使用 FP16 精度（精度损失 <0.5%）
设置最大 batch_size=16 的 dynamic shape

trtexec --onnx=visual.onnx \
        --saveEngine=visual.engine \
        --fp16 \
        --minShapes=input:1x3x224x224 \
        --optShapes=input:8x3x224x224 \
        --maxShapes=input:16x3x224x224