从架构到应用：深入解析BERT与Transformer的核心区别及适用场景

1次阅读

共计 2193 个字符，预计需要花费 6 分钟才能阅读完成。

许多 NLP 初学者在模型选型时容易混淆 BERT 和 Transformer 的关系，常见误区包括：

将 BERT 直接等同于 Transformer 整体架构，忽略其仅使用 Encoder 部分的特性
在需要生成任务的场景错误选用 BERT（如机器翻译），而 BERT 本质不具备 Decoder 的序列生成能力
混淆两种模型的输入处理流程，特别是对位置编码（Positional Encoding）和分段嵌入（Segment Embedding）的理解偏差

Transformer：完整采用 Encoder-Decoder 结构
Encoder：双向自注意力机制，处理输入序列全局依赖
Decoder：带掩码的自注意力，实现自回归生成
典型应用：机器翻译（需跨语言对齐）
BERT：仅保留 Transformer 的 Encoder 堆叠
通过 MLM（掩码语言模型）实现双向上下文编码
增加 NSP（下一句预测）任务学习句子关系
典型应用：文本分类、实体识别

特性	Transformer	BERT-base
层数	6+6	12
注意力头数	8	12
隐藏层维度	512	768
位置编码方式	正弦函数	可学习参数
典型输入长度	512	512

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# 加载预训练模型（使用 T5 架构示例）model = AutoModelForSeq2SeqLM.from_pretrained('t5-small')
tokenizer = AutoTokenizer.from_pretrained('t5-small')

# 生成配置（关键参数说明）input_text = "translate English to French: Hello world"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(
    inputs.input_ids,
    max_length=50,  # 最大生成长度
    num_beams=5,    # 束搜索宽度
    early_stopping=True
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

import torch
from transformers import BertForSequenceClassification, Trainer, TrainingArguments

# 梯度累积降低显存占用（batch_size= 8 时等效实际 batch_size=32）training_args = TrainingArguments(
    per_device_train_batch_size=8,
    gradient_accumulation_steps=4,  # 梯度累积步数
    fp16=True,  # 混合精度训练
    output_dir='./results'
)

# 动态填充与掩码处理
trainer = Trainer(model=BertForSequenceClassification.from_pretrained('bert-base-uncased'),
    args=training_args,
    train_dataset=dataset,
    data_collator=lambda data: {'input_ids': torch.stack([f['input_ids'] for f in data]),
        'attention_mask': torch.stack([f['attention_mask'] for f in data]),
        'labels': torch.stack([f['labels'] for f in data])
    }
)