从原理到实践：深入解析BERT与Transformer的核心区别及适用场景

1次阅读

共计 1763 个字符，预计需要花费 5 分钟才能阅读完成。

许多 NLP 初学者容易将 BERT 和 Transformer 混淆，认为 BERT 是完全独立于 Transformer 的新架构。实际上，BERT 是基于 Transformer 的 Encoder 部分进行改进的模型。这种误解可能导致模型选择不当，影响实际应用效果。

Transformer 原始论文提出的是 Encoder-Decoder 结构，其核心组件包括：

Encoder 层：由多头自注意力机制和前馈神经网络组成
Decoder 层：在 Encoder 基础上增加掩码自注意力，防止信息泄漏
位置编码：使用正弦函数注入序列位置信息

数学表达为：

$$
\text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V
$$

BERT 对 Transformer 做了以下关键改造：

纯 Encoder 结构：仅保留 Transformer 的 Encoder 部分
双向注意力：通过全连接 Mask 实现前后文联合编码
预训练任务：
Masked Language Model (MLM)
Next Sentence Prediction (NSP)

维度	Transformer (base)	BERT (base)
参数量	65M	110M
GPU 显存占用	4.2GB	6.8GB
推理延迟(512 tokens)	28ms	42ms

from transformers import AutoTokenizer, AutoModel

# 加载 BERT
bert_tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
bert_model = AutoModel.from_pretrained('bert-base-uncased')

# 加载 Transformer (以 GPT- 2 为例)
trans_tokenizer = AutoTokenizer.from_pretrained('gpt2')
trans_model = AutoModel.from_pretrained('gpt2')

import torch
from transformers import AdamW

# BERT 微调示例
inputs = bert_tokenizer(text, return_tensors='pt', padding=True, truncation=True)
# [batch_size, seq_len] -> [batch_size, seq_len, 768]
outputs = bert_model(**inputs)

# 添加分类头
classifier = torch.nn.Linear(768, num_labels)
loss_fn = torch.nn.CrossEntropyLoss()
optimizer = AdamW(list(bert_model.parameters()) + list(classifier.parameters()), lr=5e-5)

# 训练循环
for epoch in range(3):
    logits = classifier(outputs.last_hidden_state[:,0,:])  # 取 [CLS] 位置
    loss = loss_fn(logits, labels)
    loss.backward()
    optimizer.step()