BERT-base-chinese模型多分类微调实战：从数据准备到生产部署

1次阅读

共计 2367 个字符，预计需要花费 6 分钟才能阅读完成。

中文文本多分类任务面临着几个独特挑战：

标签分布不均衡：现实场景中各类别样本量差异显著，可能导致模型偏向高频标签
短文本语义模糊：如电商评论 ” 不错 ” 可能对应 3 - 5 星中的任意等级
分词歧义：相比英文空格分隔，中文需要处理分词边界问题

传统方法如 TF-IDF+SVM 在简单场景仍有效，但 BERT 等预训练模型能更好地捕捉上下文语义。实测在相同数据上：

模型	准确率	训练时间
SVM	78.2%	15min
BERT	89.7%	2h

不同于英文需要 tokenize，中文 BERT 直接采用字级别输入更高效。建议处理流程：

去除特殊符号但保留中文标点
统一简繁体（使用 opencc 工具）
控制文本长度（经验截断为 128-256 字）

from opencc import OpenCC

def preprocess_chinese(text):
    cc = OpenCC('t2s')  # 繁体转简体
    text = cc.convert(text)
    return ''.join([c for c in text if is_valid_char(c)])

使用混合精度训练可减少 30% 显存占用：

import pytorch_lightning as pl

class BertClassifier(pl.LightningModule):
    def __init__(self, num_classes=10):
        super().__init__()
        self.bert = BertModel.from_pretrained('bert-base-chinese')
        self.classifier = nn.Linear(768, num_classes)

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids, attention_mask=attention_mask)
        return self.classifier(outputs.last_hidden_state[:, 0])

    def training_step(self, batch, batch_idx):
        x, y = batch
        logits = self(x['input_ids'], x['attention_mask'])
        loss = F.cross_entropy(logits, y)
        self.log("train_loss", loss)
        return loss

应对样本不均衡的改进损失函数：

def label_smoothing_loss(pred, target, epsilon=0.1):
    n_class = pred.size(1)
    one_hot = torch.zeros_like(pred).scatter(1, target.unsqueeze(1), 1)
    smooth_label = one_hot * (1 - epsilon) + torch.ones_like(one_hot) * epsilon / n_class
    return (-smooth_label * F.log_softmax(pred, dim=1)).sum(dim=1).mean()

from datasets import load_dataset

ds = load_dataset('csv', data_files={'train': 'data.csv'})

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

def tokenize_fn(examples):
    return tokenizer(examples["text"], 
        max_length=128,
        truncation=True,
        padding='max_length'
    )

ds = ds.map(tokenize_fn, batched=True)

4 卡 V100（32GB）推荐配置：

trainer = pl.Trainer(
    accelerator="gpu",
    devices=4,
    strategy="ddp",
    precision=16,
    max_epochs=10,
    accumulate_grad_batches=4  # 总 batch_size=4*4*32=512
)

方案	推理速度	模型大小	精度损失
FP32	1x	438MB	0%
TorchScript	1.8x	438MB	0.2%
ONNX	2.3x	110MB	0.5%

推荐 ONNX 部署代码：

torch.onnx.export(
    model,
    (dummy_input_ids, dummy_attention_mask),
    "model.onnx",
    opset_version=13,
    input_names=["input_ids", "attention_mask"],
    output_names=["logits"]
)