BERT预训练实战指南：从零开始构建中文语言模型

共计 3034 个字符，预计需要花费 8 分钟才能阅读完成。

背景痛点：初学者常遇到的三大难关

刚开始接触 BERT 预训练时，我发现几个高频问题反复出现：

• 数据清洗黑洞：中文语料存在大量网页符号、繁体字、错别字，传统正则表达式难以全覆盖
• 硬件门槛焦虑：显存不足导致 batch_size 只能设为个位数，训练效率极低（我的 GTX 1080 最初只能跑 batch_size=4）
• 训练过程玄学：突然出现的 NaN loss、梯度爆炸等现象让训练被迫中断

这些问题其实都有成熟解决方案，下面分享我的实战经验。

技术选型：关键决策点对比

分词方案选择

1. WordPiece vs BPE
2. WordPiece：通过贪心合并高频子词，Google 官方 BERT 采用（更适合拉丁语系）
3. BPE：按字节频次合并，对中文数字 / 符号更友好

4. 实践建议：中文推荐使用 bert-base-chinese 的现成词表

5. 掩码策略对比

6. 随机掩码：简单但可能破坏词语完整性（如把 ” 人工智能 ” 掩成 ” 人 ”)
7. 全词掩码(Whole Word Masking)：对中文更合理，需配合分词工具

   # 全词掩码实现示例
   from transformers import BertTokenizer
   tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
   text = "预训练语言模型"
   tokens = tokenizer.tokenize(text)  # ['预', '训', '练', '语', '言', '模', '型']
   masked_tokens = ['预', '[MASK]', '[MASK]', '语', '言', '模', '型']  # 完整掩掉 "训练"

核心实现：从数据到模型

数据管道构建

关键步骤拆解：

1. 原始语料清洗（处理 10GB 以上文本的实用技巧）：
2. 使用 opencc 进行繁简转换

3. 用 jieba 过滤停用词前的低质量短句

   # 高效文本清洗函数
   def clean_text(text):
       text = re.sub(r'<[^>]+>', '', text)  # 去除 HTML 标签
       text = re.sub(r'[\uFF00-\uFFEF]', '', text)  # 去除全角符号
       return text.strip()

4. 使用 HuggingFace 构建 DataLoader：

   from transformers import BertTokenizer, LineByLineTextDataset
   
   tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
   dataset = LineByLineTextDataset(
       tokenizer=tokenizer,
       file_path="./corpus.txt",
       block_size=128  # 最大序列长度
   )

关键超参数设置

这些参数直接影响模型表现（基于中文任务调优经验）：

• attention_probs_dropout_prob=0.1：注意力权重丢弃率
• hidden_dropout_prob=0.2：隐藏层丢弃率（中文数据建议比英文略高）
• max_position_embeddings=512：中文长文本较少，512 足够

完整配置示例：

from transformers import BertConfig

config = BertConfig(
    vocab_size=21128,  # 中文 BERT 词表大小
    hidden_size=768,
    num_attention_heads=12,
    num_hidden_layers=12,
    hidden_dropout_prob=0.2,
    attention_probs_dropout_prob=0.1
)

性能优化实战技巧

混合精度训练

可减少 40% 显存占用（RTX 系列显卡必备）：

from torch.cuda.amp import GradScaler, autocast

scaler = GradScaler()

for batch in dataloader:
    with autocast():
        outputs = model(**batch)
        loss = outputs.loss

    scaler.scale(loss).backward()
    scaler.step(optimizer)
    scaler.update()

多 GPU 训练策略

数据并行示例（需注意梯度同步）：

# 初始化分布式环境
import torch.distributed as dist
dist.init_process_group('nccl')

model = torch.nn.parallel.DistributedDataParallel(
    model,
    device_ids=[local_rank],
    output_device=local_rank
)

避坑指南：血泪经验总结

梯度问题监控

1. 在训练循环中添加梯度检查：

   # 检查梯度爆炸
   max_grad = max(p.grad.abs().max() for p in model.parameters())
   if max_grad > 1e5:
       print(f"梯度爆炸: {max_grad}")
       torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)

2. 学习率 warmup 设置（前 10% 训练步数线性增长）：

   from transformers import get_linear_schedule_with_warmup
   
   scheduler = get_linear_schedule_with_warmup(
       optimizer,
       num_warmup_steps=1000,
       num_training_steps=total_steps
   )

显存不足解决方案

• 梯度累积（等效增大 batch_size）：

  for i, batch in enumerate(dataloader):
      loss = model(**batch).loss
      loss = loss / 4  # 假设累积 4 次
      loss.backward()
  
      if (i+1) % 4 == 0:
          optimizer.step()
          optimizer.zero_grad()

效果验证与监控

下游任务测试

在 ChnSentiCorp 情感分类数据集微调：

# 微调代码框架
from transformers import BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained(
    "./my_bert_pretrained",
    num_labels=2
)
# ... 训练代码...

训练过程可视化

使用 Weights & Biases 记录指标：

import wandb

wandb.init(project="bert-pretrain")

# 在训练循环中记录
wandb.log({"loss": loss.item(),
    "lr": scheduler.get_last_lr()[0]
})

延伸学习资源

1. 必读论文：
2. BERT: Pre-training of Deep Bidirectional Transformers

3. RoBERTa: A Robustly Optimized BERT Approach

4. 开源项目推荐：

5. HuggingFace Transformers 库
6. 中文 BERT-wwm 项目

经过完整预训练周期后，我的中文 BERT 在 CLUE 基准测试中达到了基线的 92% 效果。虽然比不上工业级大模型，但对理解 BERT 内部机制和后续定制开发非常有帮助。建议先用小规模数据（1GB 左右）跑通全流程，再逐步扩大训练规模。