BERT中文预训练模型：从原理到实战应用指南

1次阅读

共计 2986 个字符，预计需要花费 8 分钟才能阅读完成。

中文自然语言处理（NLP）面临一些独特的挑战，这些挑战使得传统的模型如 Word2Vec 和 LSTM 在某些任务上表现不佳。

分词歧义：中文不像英文那样有明确的分词界限，一个句子可以有多种分词方式，导致语义理解的歧义。
长文本处理：中文文本中长距离依赖关系较多，传统模型难以捕捉这种长距离语义关系。
多义词处理：中文词汇的多义性较强，上下文信息对词义的理解至关重要。

BERT（Bidirectional Encoder Representations from Transformers）通过双向 Transformer 结构，能够更好地解决这些问题：

双向上下文建模：BERT 通过 Masked Language Model（MLM）和 Next Sentence Prediction（NSP）任务，能够同时捕捉词汇的左右上下文信息。
预训练 + 微调范式：BERT 在大规模语料上进行预训练，学习通用语言表示，然后在特定任务上进行微调，显著提升模型性能。
长文本处理能力：Transformer 的自注意力机制能够有效建模长距离依赖关系。

模型	优势	劣势
Word2Vec	训练速度快，轻量级	无法捕捉上下文信息，多义词处理能力弱
LSTM	能处理序列数据，适合短文本	长距离依赖建模能力弱，训练速度慢
BERT	双向上下文建模，预训练 + 微调，性能优异	模型参数量大，训练和推理资源消耗高

以下是使用 Hugging Face 的 transformers 库加载和微调 BERT 中文模型的完整代码示例：

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import Trainer, TrainingArguments
import torch
from torch.utils.data import Dataset

# 1. 加载预训练模型和分词器
model_name = "bert-base-chinese"
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertForSequenceClassification.from_pretrained(model_name, num_labels=2)

# 2. 准备数据集（示例：情感分析）class TextDataset(Dataset):
    def __init__(self, texts, labels, tokenizer, max_length=128):
        self.texts = texts
        self.labels = labels
        self.tokenizer = tokenizer
        self.max_length = max_length

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        text = self.texts[idx]
        label = self.labels[idx]
        encoding = self.tokenizer(text, truncation=True, padding="max_length", max_length=self.max_length, return_tensors="pt")
        return {"input_ids": encoding["input_ids"].flatten(),
            "attention_mask": encoding["attention_mask"].flatten(),
            "labels": torch.tensor(label, dtype=torch.long)
        }

# 示例数据
train_texts = ["这部电影很棒", "这个产品很差"]
train_labels = [1, 0]
train_dataset = TextDataset(train_texts, train_labels, tokenizer)

# 3. 设置训练参数
training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    warmup_steps=500,
    weight_decay=0.01,
    logging_dir="./logs",
    logging_steps=10,
)

# 4. 创建 Trainer 并开始训练
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
)

trainer.train()

# 5. 使用微调后的模型进行预测
def predict(text):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)
    outputs = model(**inputs)
    probabilities = torch.nn.functional.softmax(outputs.logits, dim=-1)
    return probabilities

print(predict("这个服务非常好"))