BERT-Base-Uncased预训练模型下载与部署实战指南

1次阅读

共计 1978 个字符，预计需要花费 5 分钟才能阅读完成。

BERT-Base-Uncased 作为 NLP 领域经典预训练模型，实际应用中常遇到三类问题：

下载稳定性：国内直接访问 Hugging Face 或 Google 存储速度慢（常低于 100KB/s），且易因网络波动中断
存储管理：完整模型文件约 1.3GB（PyTorch 版本），多版本共存时磁盘压力显著
环境适配：CUDA 版本与 PyTorch/TensorFlow 的兼容性问题导致加载失败

from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("bert-base-uncased")

优势：
– 自动处理模型架构与权重匹配
– 支持断点续传（需配置resume_download=True）

局限：
– 依赖境外网络
– 缺少下载进度可视化

从 Google Research 仓库获取
解压后通过 BertModel.from_pretrained("./local_path") 加载

适用场景：
– 需要长期稳定备份
– 内网环境部署

export HF_ENDPOINT=https://hf-mirror.com
pip install transformers

推荐清华、阿里云等镜像站，速度可提升 5 -10 倍。

from tqdm import tqdm
import requests

def download_with_progress(url: str, save_path: str, chunk_size=8192):
    resp = requests.get(url, stream=True)
    total = int(resp.headers.get('content-length', 0))
    with open(save_path, 'wb') as f, tqdm(
        desc=save_path,
        total=total,
        unit='iB',
        unit_scale=True
    ) as bar:
        for data in resp.iter_content(chunk_size=chunk_size):
            size = f.write(data)
            bar.update(size)

符号链接优化

ln -s /mnt/ssd/bert_cache ~/.cache/huggingface/hub

环境变量配置

import os
os.environ["TRANSFORMERS_CACHE"] = "/custom/path"

from transformers import BertModel
model = BertModel.from_pretrained(
    "bert-base-uncased",
    torch_dtype=torch.float16  # FP16 加速
).to('cuda')

from transformers import convert_graph_to_onnx
convert_graph_to_onnx.convert(
    framework="pt",
    model="bert-base-uncased",
    output="bert.onnx",
    opset=12
)

现象：CUDA runtime version is insufficient

排查：

import torch
print(torch.version.cuda)  # 查看当前 PyTorch 适配的 CUDA 版本

解决：通过 conda 安装匹配版本

conda install cudatoolkit=11.3 -c pytorch

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
text = "你好世界"
# 需显式指定 do_basic_tokenize=False
inputs = tokenizer(text, do_basic_tokenize=False)

# 分块加载大型文本
from transformers import BertTokenizerFast
tokenizer = BertTokenizerFast.from_pretrained("bert-base-uncased")
chunks = [text[i:i+512] for i in range(0, len(text), 512)]
inputs = tokenizer(chunks, truncation=True, padding=True, return_tensors="pt")