从零开始使用bert-base-chinese预训练模型：NLP新手避坑指南

1次阅读

共计 2622 个字符，预计需要花费 7 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）是谷歌在 2018 年提出的预训练语言模型，通过双向 Transformer 结构捕捉上下文信息。bert-base-chinese是专门针对中文文本训练的版本，具有 12 层 Transformer、768 隐藏层维度和 12 个注意力头，适合处理中文 NLP 任务如文本分类、命名实体识别等。

以下是基础环境配置要求（建议使用 Python 3.8+）：

# 必需库及推荐版本
torch==1.12.0
transformers==4.25.1

# 可选但常用的辅助库
numpy==1.23.5
pandas==1.5.2

常见安装问题解决方案：

CUDA 版本冲突 ：通过nvcc --version 确认 CUDA 版本，安装对应 PyTorch 版本
transformers 报错：优先使用pip install --upgrade transformers
内存不足 ：添加--no-cache-dir 参数减少安装时内存占用

from transformers import BertModel, BertTokenizer
import torch

# 加载模型时添加 low_cpu_mem_usage 参数减少内存占用
model = BertModel.from_pretrained('bert-base-chinese', low_cpu_mem_usage=True)
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

# 启用梯度检查点（牺牲速度换显存）model.gradient_checkpointing_enable()

text = "自然语言处理真有趣！"

# 正确使用方式（自动添加特殊符号）inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True)

# 错误示范：直接调用 encode 会丢失 CLS/SEP 符号
wrong_encoded = tokenizer.encode(text)  # 避免这样用！

# 获取句向量（均值池化）with torch.no_grad():
    outputs = model(**inputs)
    last_hidden_states = outputs.last_hidden_state
    sentence_embedding = last_hidden_states.mean(dim=1)  # [batch_size, 768]

完整微调流程（基于 PyTorch）：

数据准备

from transformers import BertForSequenceClassification

# 加载分类模型（2 分类示例）model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=2)

# 构建 Dataset
class TextDataset(torch.utils.data.Dataset):
    def __init__(self, texts, labels):
        self.encodings = tokenizer(texts, truncation=True, padding=True, max_length=512)
        self.labels = labels

    def __getitem__(self, idx):
        item = {key: torch.tensor(val[idx]) for key, val in self.encodings.items()}
        item['labels'] = torch.tensor(self.labels[idx])
        return item

训练循环关键代码

from transformers import AdamW

optimizer = AdamW(model.parameters(), lr=5e-5)

for epoch in range(3):  # 典型 epoch 数
    model.train()
    for batch in train_loader:
        optimizer.zero_grad()
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()
        optimizer.step()

# 分段处理方案
def process_long_text(text, max_seq=510):  # 留 2 个位置给 CLS/SEP
    tokens = tokenizer.tokenize(text)
    chunks = [tokens[i:i+max_seq] for i in range(0, len(tokens), max_seq)]
    return [tokenizer.convert_tokens_to_ids(['[CLS]'] + chunk + ['[SEP]']) for chunk in chunks]