BERT预训练模型入门指南：从原理到实战应用

1次阅读

没有评论

共计 2797 个字符，预计需要花费 7 分钟才能阅读完成。

自然语言处理 (NLP) 领域从早期的词袋模型(Bag-of-Words)、Word2Vec 静态词向量，发展到如今基于 Transformer 架构的预训练语言模型，经历了几次重大技术跃迁。传统方法存在以下明显局限：

上下文缺失：Word2Vec/GloVe 生成的词向量是固定的，无法根据上下文动态调整
单向信息流：GPT 等模型只能从左到右或从右到左建模文本，无法获取双向上下文
任务适配成本高：需要针对不同 NLP 任务设计特定网络结构

BERT(Bidirectional Encoder Representations from Transformers)通过以下创新解决了这些问题：

基于 Transformer Encoder 实现真正的双向上下文建模
采用 Masked Language Model(MLM)和 Next Sentence Prediction(NSP)的预训练目标
通过 Fine-tuning 范式统一各类下游任务适配方式

Transformer 的核心是 Self-Attention（自注意力）机制，其计算过程可分为三步：

将输入词向量分别转换为 Query、Key、Value 三个矩阵
计算 Query 与 Key 的点积并缩放，通过 softmax 得到注意力权重
用注意力权重对 Value 加权求和得到输出

数学表达式为：

Attention(Q,K,V) = softmax(QK^T/√d_k)V

BERT 同时训练两个目标任务：

Masked Language Model(MLM)：随机遮盖 15% 的输入 token，让模型预测被遮盖的内容
Next Sentence Prediction(NSP)：判断两个句子是否是连续的文本片段

这种设计使 BERT 能学习到词汇级和句子级的语言表征。

与 GPT 等模型相比，BERT 的关键差异在于：

特性	BERT	GPT
架构类型	Transformer Encoder	Transformer Decoder
注意力方向	双向	单向
预训练目标	MLM + NSP	语言建模

# 安装 HuggingFace 库
!pip install transformers torch

from transformers import BertTokenizer, BertForSequenceClassification
import torch

# 加载 tokenizer 和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 示例文本编码
text = "This is a BERT tutorial"
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)

from transformers import Trainer, TrainingArguments

# 1. 准备数据集 (示例)
train_texts = ["positive text", "negative text"]
train_labels = [1, 0]

# 2. 数据预处理
train_encodings = tokenizer(train_texts, truncation=True, padding=True)
train_dataset = torch.utils.data.TensorDataset(torch.tensor(train_encodings['input_ids']),
    torch.tensor(train_encodings['attention_mask']),
    torch.tensor(train_labels)
)

# 3. 训练参数配置
training_args = TrainingArguments(
    output_dir='./results',
    num_train_epochs=3,
    per_device_train_batch_size=8,
    warmup_steps=500,  # 学习率 warmup
    logging_dir='./logs',
)

# 4. 创建 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
)

# 5. 开始训练
trainer.train()

模型类型	参数量	GPU 显存需求	适用场景
BERT-base	110M	~3GB	大多数分类 / 标注任务
BERT-large	340M	~12GB	高精度要求场景

梯度累积：通过多次小 batch 累计梯度再更新参数

training_args = TrainingArguments(
    per_device_train_batch_size=4,
    gradient_accumulation_steps=8,  # 等效 batch_size=32
)

混合精度训练：使用 FP16 减少显存占用
```
training_args.fp16 = True
```
梯度检查点：以计算时间换取显存空间
```
model.gradient_checkpointing_enable()
```

输入序列过长：BERT 最大支持 512token，超长序列需要截断或分块处理
学习率设置不当：建议初始学习率在 2e- 5 到 5e- 5 之间
忽略 attention_mask：必须正确设置以避免 padding token 影响效果

使用学习率 warmup：
```
training_args.warmup_steps = 500
```

分层学习率：

from transformers import AdamW

optimizer = AdamW([{'params': model.bert.parameters(), 'lr': 2e-5},  # 底层小学习率
    {'params': model.classifier.parameters(), 'lr': 5e-5}  # 顶层大学习率
])