Chinese BERT 预训练模型下载与使用指南：从零开始避坑实践

1次阅读

共计 1545 个字符，预计需要花费 4 分钟才能阅读完成。

对于中文 NLP 开发者来说，下载和使用预训练模型是入门的第一道门槛。尤其是 Hugging Face 上的 Chinese BERT 模型，虽然性能强大，但在国内使用时常常遇到以下问题：

网络连接不稳定 ：直接从 Hugging Face 下载模型经常失败或速度极慢
库版本冲突 ：transformers 库版本与模型不匹配导致加载失败
内存不足 ：大模型加载时容易引发 OOM（内存不足）错误
缓存管理混乱 ：不清楚模型下载到哪里，如何重复使用

目前主要有三种方式来获取 Chinese BERT 预训练模型：

直接使用 transformers 库
优点：最简单，一行代码即可
缺点：完全依赖原始源，国内速度慢
使用国内镜像站
优点：下载速度快
缺点：可能不是最新版本
手动下载后加载
优点：最可靠
缺点：步骤较多

from transformers import BertModel, BertTokenizer

# 最简单的加载方式
model_name = 'bert-base-chinese'
model = BertModel.from_pretrained(model_name)
tokenizer = BertTokenizer.from_pretrained(model_name)

import os
from transformers import BertModel, BertTokenizer
from tqdm import tqdm

model_name = 'bert-base-chinese'
cache_dir = './model_cache'  # 自定义缓存路径

# 创建缓存目录
os.makedirs(cache_dir, exist_ok=True)

try:
    # 显示下载进度
    tokenizer = BertTokenizer.from_pretrained(
        model_name,
        cache_dir=cache_dir,
        force_download=False  # 启用断点续传
    )

    model = BertModel.from_pretrained(
        model_name,
        cache_dir=cache_dir,
        force_download=False
    )

    print("模型和 tokenizer 加载成功！")

except Exception as e:
    print(f"加载失败: {str(e)}")

# 使用 fp16 格式加载模型，减少内存占用
model = BertModel.from_pretrained(
    model_name,
    cache_dir=cache_dir,
    torch_dtype='auto'  # 自动选择最佳精度
)

import transformers
print(transformers.__version__)  # 检查库版本

# 查看模型需要的版本
from transformers import __version__ as trans_version
required = model.config.transformers_version
print(f"当前版本: {trans_version}, 模型需要: {required}")

我们对三种下载方式进行了测试（基于 100Mbps 网络）：