BERT中文预训练模型实战：从零搭建到微调避坑指南

1次阅读

共计 2356 个字符，预计需要花费 6 分钟才能阅读完成。

最近在做中文文本分类时，深刻体会到 BERT 这类预训练模型的强大。记得第一次尝试用传统机器学习方法处理电商评论情感分析，准确率卡在 85% 死活上不去。换成 BERT-base-chinese 后，仅用 5% 的标注数据就轻松突破 92%——这大概就是降维打击吧？

第一次接触中文 BERT 时，我被各种变体搞得眼花缭乱。经过实际项目验证，这几个模型最值得关注：

bert-base-chinese：谷歌官方中文版，12 层 /768 隐藏单元，适合大多数下游任务
RoBERTa-wwm-ext：哈工大出品，采用全词掩码技术，在成语识别等任务表现突出
ERNIE：百度研发，融入实体级别知识，适合医疗 / 金融等专业领域

实际测试发现，在短文本分类任务上它们差异不大（±1%），但当处理法律文书等长文本时，RoBERTa-wwm-ext 的上下文理解能力明显更优。

直接使用 BERT 的 WordPiece 分词器处理中文时，经常出现这种情况：

原始文本："中国人民银行"
错误分词：["中", "国", "人", "民", "银", "行"]  # 失去金融实体语义
理想分词：["中国人", "民银行"]

解决方案是加载模型时指定特殊分词器：

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained("bert-base-chinese", do_basic_tokenize=False)

在文本分类任务中，传统做法是直接取 [CLS] 标记对应的向量。但中文场景下，将各字符向量均值与 CLS 拼接后输入分类器，能使 F1 提升 2 -3%：

# 获取各层输出
outputs = model(**inputs, output_hidden_states=True)
last_hidden = outputs.hidden_states[-1]  # 最后一层输出

# 均值池化 + CLS 拼接
mean_pooling = torch.mean(last_hidden[:, 1:-1, :], dim=1)  # 忽略 [CLS] 和[SEP]
cls_vector = last_hidden[:, 0, :]
final_rep = torch.cat([cls_vector, mean_pooling], dim=-1)

import torch
from transformers import BertForSequenceClassification, AdamW

# 关键超参数设置（基于网格搜索结果）BATCH_SIZE = 32  # 2080Ti 显卡显存限制
MAX_LEN = 128    # 覆盖 95% 中文短文本
LR = 2e-5        # 大于 5e- 5 容易震荡
EPOCHS = 3       # BERT 微调通常 3 - 4 轮足够

model = BertForSequenceClassification.from_pretrained("bert-base-chinese")
optimizer = AdamW(model.parameters(), lr=LR, correct_bias=False)

# 记忆友好的数据加载
train_loader = torch.utils.data.DataLoader(
    dataset, 
    batch_size=BATCH_SIZE,
    collate_fn=lambda x: {'input_ids': torch.stack([i[0] for i in x]),
        'attention_mask': torch.stack([i[1] for i in x]),
        'labels': torch.tensor([i[2] for i in x])
    }
)

在训练循环中添加这段代码，实时监控显存占用：

def print_gpu_utilization():
    print(f"GPU 内存占用: {torch.cuda.memory_allocated() / 1024**2:.2f}MB")
    print(f"峰值内存: {torch.cuda.max_memory_allocated() / 1024**2:.2f}MB")

# 每个 batch 结束后调用
print_gpu_utilization()

冻结策略：前 2 个 epoch 只训练分类头，后期解冻最后 3 层 BERT
梯度裁剪：添加torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
早停机制：当验证集 loss 连续 3 次不下降时终止训练

中文合同等长文档的处理方案：

graph TD
    A[原始文本] --> B{长度 >512?}
    B -->| 是 | C[动态截断: 保留首尾各 200 字]
    B -->| 否 | D[直接输入]
    C --> E[分段推理]
    E --> F[加权聚合各段 logits]

使用 TensorRT 加速时，注意 FP16 量化会导致最后 softmax 层精度损失。补偿方法：

# 校准阶段保留原始精度
with torch.cuda.amp.autocast(enabled=False):
    logits = model(**inputs).logits
    probs = torch.softmax(logits.float(), dim=-1)  # 显式指定 float32

在实际项目中遇到个有趣现象：当我们把 BERT 最后一层输出接入自定义的 BiLSTM 时，发现当 LSTM 隐藏层维度大于 256 时模型效果反而下降。大家觉得这是因为：