BERT预训练过程全解析：从数据准备到模型微调的实战指南

1次阅读

共计 1790 个字符，预计需要花费 5 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）的核心创新在于双向上下文理解。传统语言模型（如 GPT）只能从左到右或从右到左单向建模，而 BERT 通过以下两种任务实现双向训练：

Masked Language Model (MLM)：随机遮盖输入文本中 15% 的词汇，让模型预测这些被遮盖的词。例如：
```
原始句子："人工智能正在改变世界"
遮盖后："人工 [MASK] 正在 [MASK] 变世界"
```
Next Sentence Prediction (NSP)：判断两个句子是否是连续的上下文关系。正样本来自原文连续句子，负样本随机组合不相关句子。

去除 HTML 标签、特殊字符
统一全角 / 半角标点
处理繁体转简体（中文场景）

使用 BERT 专属的 WordPiece 分词器：

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

text = "自然语言处理真有趣"
tokens = tokenizer.tokenize(text)  # ['自', '然', '语', '言', '处', '理', '真', '有', '趣']

需要生成以下两种文件：

训练文本文件：每行一个句子或段落
TFRecord 文件：Google 官方推荐的二进制格式，提升读取效率

import torch
from transformers import BertForMaskedLM

# 初始化模型
model = BertForMaskedLM.from_pretrained('bert-base-chinese')

# 模拟输入（已遮盖）input_ids = torch.tensor([[101, 100, 104, 100, 102]])  # [CLS], 词 1, [MASK], 词 3, [SEP]
labels = torch.tensor([[-1, 100, 104, 100,  -1]])    # 仅计算被遮盖位置的 loss

outputs = model(input_ids, labels=labels)
loss = outputs.loss

from transformers import BertForNextSentencePrediction

model = BertForNextSentencePrediction.from_pretrained('bert-base-chinese')

# 输入格式: [CLS]句子 A[SEP]句子 B[SEP]
input_ids = torch.tensor([[101, 2054, 2003, 1996, 4248, 102, 2054, 2003, 1996, 8612, 102]])
labels = torch.tensor([1])  # 1 表示是下一句，0 表示不是

outputs = model(input_ids, labels=labels)