BERT预训练中文模型下载与微调实战：从零开始构建NLP应用

1次阅读

共计 2326 个字符，预计需要花费 6 分钟才能阅读完成。

国内 NLP 开发者使用 BERT 时最常遇到的三个问题：
1. 从 Hugging Face 下载模型速度慢到怀疑人生
2. 加载模型后 GPU 显存秒崩（OOM 错误）
3. 微调效果总是不如论文里的指标好看

今天我们就用工厂老师傅手把手教徒弟的方式，把这些痛点逐个击破。

Hugging Face 原厂：
优点：模型最全更新最快
致命伤：国内下载速度 20KB/ s 是常态
百度 PaddleNLP：
优点：国内 CDN 加速，下载速度可达 10MB/s
注意：部分模型命名与 Hugging Face 不同
阿里云 ModelScope：
隐藏福利：部分模型提供国内镜像

推荐用 wget 走国内镜像（保存为download_model.sh）：

#!/bin/bash
MODEL="bert-base-chinese"
MIRROR_URL="https://mirror.tuna.tsinghua.edu.cn/hugging-face-models/$MODEL"

wget -c $MIRROR_URL/config.json -P ./$MODEL/
wget -c $MIRROR_URL/pytorch_model.bin -P ./$MODEL/
wget -c $MIRROR_URL/vocab.txt -P ./$MODEL/

实测对比：
| 方式 | 文件大小 | 耗时 |
|————-|———|——–|
| 直连 HF | 420MB | 6 小时 |
| 清华镜像 | 420MB | 42 秒 |

新手容易踩的坑：直接 from_pretrained() 加载完整模型

更优解：

from transformers import BertModel
import torch

# 按需加载组件
model = BertModel.from_pretrained(
    "bert-base-chinese",
    output_attentions=False,  # 不需要注意力权重可省显存
    output_hidden_states=False
).to('cuda')

# 启用梯度检查点（训练时显存减半）model.gradient_checkpointing_enable()

FP16 训练可减少 30% 显存占用，但要注意：

在 PyTorch 中需要同时设置：

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(inputs)

遇到 NaN 损失时适当调大 GradScaler 的init_scale

中文 BERT 需要特别注意：

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")

# 重要！关闭英文 subword 切分
text = "这是一个测试"
tokens = tokenizer.tokenize(text, never_split=["##"])

关键部分注释版：

# 数据加载
class NewsDataset(Dataset):
    def __init__(self, texts, labels, tokenizer, max_len=128):
        self.encodings = tokenizer(
            texts, 
            truncation=True,
            padding='max_length',
            max_length=max_len
        )
        self.labels = labels

# 模型定义
class BertClassifier(nn.Module):
    def __init__(self, num_labels=10):
        super().__init__()
        self.bert = BertModel.from_pretrained("bert-base-chinese")
        self.dropout = nn.Dropout(0.1)
        self.classifier = nn.Linear(768, num_labels)

# 训练循环（带混合精度）for epoch in range(3):
    model.train()
    for batch in train_loader:
        with torch.cuda.amp.autocast():
            outputs = model(**batch)
            loss = outputs.loss
        scaler.scale(loss).backward()
        scaler.step(optimizer)
        scaler.update()

不同硬件下的推荐值：
| GPU 显存 | 最大 batch_size |
|———-|—————-|
| 16GB | 32 |
| 24GB | 64 |
| 40GB | 128 |

实测效果对比（相同输入文本）：