BERT与Transformer模型深度对比：从架构差异到应用场景选择

1次阅读

共计 1859 个字符，预计需要花费 5 分钟才能阅读完成。

Transformer 模型自 2017 年《Attention Is All You Need》论文提出后，已成为 NLP 领域的基础架构。但标准 Transformer 的注意力机制是单向的（从左到右），这限制了模型对上下文的理解能力。BERT 的核心创新正是通过双向注意力机制和创新的预训练目标，解决了这一关键问题。

模型结构差异
Transformer：完整 Encoder-Decoder 结构，适用于序列生成任务（如翻译）
BERT：仅保留 Encoder 堆叠，层数通常更深（Base 版 12 层，Large 版 24 层）

注意力机制实现

# Transformer 的单向注意力（解码器部分）masked_attention = torch.softmax((Q @ K.transpose(-2, -1)) / math.sqrt(d_k) + mask, dim=-1
) @ V

# BERT 的双向注意力（Encoder 实现）attention = torch.softmax((Q @ K.transpose(-2, -1)) / math.sqrt(d_k), dim=-1
) @ V

预训练目标对比
Transformer：标准语言模型（预测下一个词）
BERT：
- Masked Language Model (MLM)：随机遮盖 15% 的 token 进行预测
- Next Sentence Prediction (NSP)：判断两个句子是否连续

Transformer 层实现（PyTorch）

class TransformerLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)
        self.linear2 = nn.Linear(d_model*4, d_model)

    def forward(self, src, src_mask=None):
        # 单向注意力需要 mask
        if src_mask is None:
            src_mask = torch.triu(torch.ones(len(src), len(src)), diagonal=1)
        src = self.self_attn(src, src, src, attn_mask=src_mask)[0]
        return self.linear2(F.gelu(self.linear1(src)))

BERT 层实现（带 MLM 头）

class BertLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.mlm_head = nn.Linear(d_model, vocab_size)

    def forward(self, src):
        # 双向注意力无需 mask
        hidden = self.self_attn(src, src, src)[0]
        mlm_logits = self.mlm_head(hidden)
        return hidden, mlm_logits

资源不足时的方案
使用 DistilBERT（参数量减少 40%，速度提升 60%）
混合精度训练（AMP）：显存占用减少 50%
长文本处理技巧
分段策略：
1. 按 512token 分段
2. 添加 [SEP] 标记连接各段
3. 对分段结果做最大池化

正则化参数推荐

# 微调超参设置（基于 BERT 论文）optimizer = AdamW(model.parameters(), 
                 lr=2e-5,  # 比 Transformer 小 10 倍
                 weight_decay=0.01)  # L2 正则