共计 2580 个字符，预计需要花费 7 分钟才能阅读完成。
背景痛点：为什么需要领域预训练？
意图识别任务要求模型理解用户输入的语义意图（如 ” 订机票 ”、” 查天气 ”），但直接使用通用 BERT 模型会遇到两个典型问题：
- 领域适配差 ：通用语料训练的 BERT 对电商、医疗等垂直领域的术语和表达模式捕捉不足。例如在医疗场景中，” 过敏 ” 可能对应药品查询而非食品禁忌。
- 收敛慢 ：微调阶段需要大量标注数据才能达到理想效果，实际项目中常面临标注成本高的问题。
预训练策略对比
1. 全量预训练（Full Pre-training）
- 优点：从零开始训练，完全适配目标领域
- 缺点：需要海量计算资源，训练周期长（通常需要数十块 GPU/TPU）
2. 领域自适应预训练（Domain-adaptive Pre-training）
- 优点：在通用 BERT 基础上继续训练，资源消耗适中
- 缺点：需要精心设计学习率衰减策略
3. 增量预训练（Continual Pre-training）
- 优点：可动态融入新领域数据
- 缺点：存在灾难性遗忘风险
实验数据显示，在相同计算预算下，领域自适应预训练比全量预训练效果提升 12.7%（F1-score），是性价比最高的方案。
核心实现步骤
领域语料准备
- 数据源选择 ：
- 业务日志（需脱敏处理）
- 领域百科（如医疗领域的专业文献）
-
问答社区内容（Stack Overflow、知乎等）
-
清洗规则 ：
- 去除 HTML 标签和特殊字符
- 过滤低质量文本（如广告、乱码）
- 标准化数字 / 日期格式（将 ”2023 年 ” 统一为 ”2023″）
代码实现示例
from transformers import BertTokenizer, BertForPreTraining
import torch
# 初始化 tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
# 添加领域特殊 token
special_tokens = {'additional_special_tokens': ['[MED]', '[DRUG]']}
tokenizer.add_special_tokens(special_tokens)
# 加载模型并适配新 token
model = BertForPreTraining.from_pretrained('bert-base-chinese')
model.resize_token_embeddings(len(tokenizer))
# 自定义 mask 策略
def mask_tokens(inputs, mlm_prob=0.15):
labels = inputs.clone()
# 保留领域 token 不参与 mask
protected_ids = tokenizer.convert_tokens_to_ids(['[MED]','[DRUG]'])
probability_matrix = torch.full(labels.shape, mlm_prob)
probability_matrix[torch.isin(inputs, torch.tensor(protected_ids))] = 0
masked_indices = torch.bernoulli(probability_matrix).bool()
labels[~masked_indices] = -100 # 只计算 mask 位置的 loss
# 80% 替换为 [MASK]，10% 随机替换，10% 保留原词
indices_replaced = masked_indices & (torch.rand(labels.shape) < 0.8)
inputs[indices_replaced] = tokenizer.mask_token_id
indices_random = masked_indices & ~indices_replaced & (torch.rand(labels.shape) < 0.5)
random_words = torch.randint(len(tokenizer), labels.shape, dtype=torch.long)
inputs[indices_random] = random_words[indices_random]
return inputs, labels训练优化技巧
-
梯度累积 ：当显存不足时，通过多 batch 累积梯度再更新参数
optimizer.zero_grad() for i, batch in enumerate(dataloader): loss = model(**batch).loss loss = loss / gradient_accum_steps loss.backward() if (i+1) % gradient_accum_steps == 0: optimizer.step() optimizer.zero_grad() -
混合精度训练 ：减少显存占用
from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() with autocast(): loss = model(**batch).loss scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()
避坑指南
学习率设置
- 初始值建议：通用 BERT 的 1 /10（如 5e-6）
- 采用线性 warmup：前 10% 训练步数逐渐增大学习率
- 余弦退火：后期平稳下降
类别不平衡处理
-
样本重加权：
class_weights = torch.tensor([1.0, 2.5, 3.0]) # 根据类别频率设置 criterion = torch.nn.CrossEntropyLoss(weight=class_weights) -
过采样少数类：使用 NLPAug 等库生成同义句
模型蒸馏注意事项
- 教师模型选择：领域预训练后的模型效果优于原始 BERT
- 温度参数：建议尝试 2.0-3.0 之间的值
- 损失权重：原始任务 loss 和蒸馏 loss 建议 1:1 比例
开放思考题
- 如何评估领域预训练的质量，除了下游任务指标还能观察哪些信号？
- 当领域数据持续增长时，增量预训练和定期全量训练该如何选择？
- 在小语种场景下，如何解决基础模型和多语言 embedding 的冲突问题？
建议读者在 ATIS 或 SNIPS 等标准意图识别数据集上复现实验，对比不同策略的效果差异。实际业务中可先尝试领域自适应预训练，再根据资源情况逐步优化。
正文完
