BERT领域继续预训练实战指南：从数据准备到模型调优

1次阅读

共计 2017 个字符，预计需要花费 6 分钟才能阅读完成。

在医疗、法律等垂直领域，通用 BERT 模型的表现往往不尽如人意。主要原因有三：
1. 领域专业术语与通用词汇分布差异大（如医疗文本中的『肌钙蛋白』在通用语料罕见）
2. 领域特有的语法结构（如法律条款的长嵌套句式）
3. 语义关系特殊性（医疗文本中『高血压』与『糖尿病』的共现关系）

在 16GB V100 上的实测数据：

策略	显存占用	训练速度(s/batch)	下游任务 F1
Full Fine-tuning	14.2GB	0.38	88.7
Layer-wise Unfreezing	9.1GB	0.42	89.2

推荐实现代码：

def unfreeze_layers(model: BertModel, num_layers: int = 6):
    """逐步解冻顶层 Transformer 层"""
    for param in model.parameters():
        param.requires_grad = False  # 先冻结所有参数

    for layer in model.encoder.layer[-num_layers:]:
        for param in layer.parameters():
            param.requires_grad = True

噪声去除：re.sub(r'[\x00-\x1F\x7F\u200B-\u200D\uFEFF]', '', text)
文档结构化 ：提取 PDF/HTML 中的正文（推荐使用pdfplumber 库）
领域关键词过滤：构建术语词表进行匹配
句子完整性检查：剔除长度 <5 或 >512 字符的片段
重复内容去重 ：SimHash 算法（simhash-py 库）

from transformers import Trainer, TrainingArguments

class DomainTrainer(Trainer):
    def create_optimizer(self):
        """自定义学习率分层设置"""
        no_decay = ["bias", "LayerNorm.weight"]
        optimizer_grouped_parameters = [
            {"params": [p for n, p in self.model.named_parameters() 
                          if not any(nd in n for nd in no_decay)],
                "weight_decay": 0.01,
                "lr": 5e-5
            },
            {"params": [p for n, p in self.model.named_parameters() 
                          if any(nd in n for nd in no_decay)],
                "weight_decay": 0.0,
                "lr": 3e-5
            }
        ]
        return AdamW(optimizer_grouped_parameters)

混合精度训练示例：

training_args = TrainingArguments(
    fp16=True,
    gradient_accumulation_steps=4,
    per_device_train_batch_size=8,
    gradient_checkpointing=True  # 激活梯度检查点
)

动态 Batch 调整策略：
1. 自动缩放：监控 GPU 利用率动态调整
2. 梯度累积：小 batch 多步累积后更新
3. 长度分级：按文本长度分组 batch

医疗 NER 任务改进方案：
– 实体边界权重：对实体首尾 token 增加 loss 权重
– 类别敏感召回率：对稀有实体类型（如『罕见病』）单独计算
– 上下文相关评估：构建实体关系判断任务

使用 nvidia-smi -l 1 监控显存波动
启用 torch.utils.checkpoint 分段计算
尝试 --sharded_ddp 分布式模式

from tokenizers import AddedToken

def extend_tokenizer(tokenizer: BertTokenizer, terms: List[str]):
    new_tokens = [AddedToken(t, single_word=True) for t in terms]
    tokenizer.add_tokens(new_tokens)
    # 需同步调整模型 embedding 层
    model.resize_token_embeddings(len(tokenizer))