共计 2603 个字符，预计需要花费 7 分钟才能阅读完成。
背景痛点
在高校 NLP 课程项目中，中文文本分类任务常常面临几个特殊挑战。首先，标注数据量通常较少，学生项目往往只能获取几千条标注样本，难以支撑复杂模型的训练。其次，学术场景下的文本常包含大量专业术语，比如软件工程领域的『敏捷开发』『持续集成』等词汇，通用预训练模型可能无法很好捕捉这些特定语义。
- 数据稀缺性：课程项目通常无法获取工业级大规模标注数据
- 领域术语：通用预训练模型在专业领域表现可能下降
- 类别不平衡：学术文本常呈现长尾分布（如 80% 样本集中在 3 - 5 个主类别）
- 标注噪声：学生标注的一致性和准确性可能低于专业标注团队
技术选型
传统机器学习方案（如 TF-IDF+SVM）和深度学习方法各有优劣：
- TF-IDF + SVM
- 优点：训练速度快，在小数据集（<1 万条）表现稳定
-
缺点：无法捕捉上下文语义，专业术语需要手动设计特征
-
BERT/ALBERT
- 优点：自动学习上下文表征，在迁移学习场景下效果突出
- 缺点：需要 GPU 资源，微调过程更复杂
我们最终选择基于 BERT 的方案，因为：
- HuggingFace 生态提供丰富的预训练中文模型（如 bert-base-chinese）
- 即使只有 3000 条样本，通过适当微调也能获得不错效果
- 项目后期可以通过知识蒸馏压缩模型，满足部署需求
核心实现
环境准备
# 基础环境
pip install transformers==4.28.1 torch==2.0.1 pandas sklearn数据预处理
中文文本需要特殊处理：
- 使用 jieba 进行分词（或直接使用 BERT 的 WordPiece）
- 去除 HTML 标签和特殊符号
- 处理中英文混合文本的编码问题
def clean_text(text):
# 移除 HTML 标签
text = re.sub(r'<[^>]+>', '', text)
# 转换全角字符
text = full2half(text)
return text[:512] # 截断超长文本模型加载
from transformers import BertTokenizer, BertForSequenceClassification
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForSequenceClassification.from_pretrained(
'bert-base-chinese',
num_labels=10 # 根据实际类别数修改
)处理类别不平衡
采用 Focal Loss 替代标准交叉熵损失：
class FocalLoss(nn.Module):
def __init__(self, alpha=0.25, gamma=2):
super().__init__()
self.alpha = alpha
self.gamma = gamma
def forward(self, inputs, targets):
BCE_loss = F.cross_entropy(inputs, targets, reduction='none')
pt = torch.exp(-BCE_loss)
loss = self.alpha * (1-pt)**self.gamma * BCE_loss
return loss.mean()完整训练代码
# 数据加载示例
class TextDataset(Dataset):
def __init__(self, texts, labels, tokenizer):
self.encodings = tokenizer(texts, truncation=True, padding=True)
self.labels = labels
def __getitem__(self, idx):
item = {k: torch.tensor(v[idx]) for k,v in self.encodings.items()}
item['labels'] = torch.tensor(self.labels[idx])
return item
# 训练循环关键部分
optimizer = AdamW(model.parameters(), lr=5e-5)
scheduler = get_linear_schedule_with_warmup(
optimizer,
num_warmup_steps=100,
num_training_steps=1000
)
for epoch in range(3):
model.train()
for batch in train_loader:
outputs = model(**batch)
loss = focal_loss(outputs.logits, batch['labels'])
loss.backward()
optimizer.step()
scheduler.step()性能优化
模型量化
使用 ONNX Runtime 加速推理：
# 转换模型
torch.onnx.export(
model,
dummy_input,
"model.onnx",
input_names=['input_ids', 'attention_mask'],
output_names=['logits']
)
# 加载量化模型
import onnxruntime
sess = onnxruntime.InferenceSession("model.onnx")注意力头剪枝
通过分析注意力矩阵重要性，可减少 30% 的注意力头数而仅损失 1 -2% 准确率：
from transformers.pruning import prune_heads
heads_to_prune = {0: [0, 2, 4], # 第 0 层剪掉第 0,2,4 个头
1: [1, 3]
}
prune_heads(model, heads_to_prune)避坑指南
- [CLS]向量使用 ：中文 BERT 的[CLS] 向量直接用于分类可能效果不佳，建议添加全连接层微调
- 学习率策略：前 100 步使用 warm-up 可有效避免模型震荡
- 验证集划分：确保验证集与测试集的数据分布一致，避免按时间划分导致数据泄露
总结
这套方案在山东大学软件学院 2023 年的课程项目中，使用 3000 条标注数据达到了 91.2% 的测试准确率（10 分类任务）。关键成功因素包括：
- 采用 Focal Loss 缓解类别不平衡
- 使用学习率 warm-up 稳定训练
- 通过注意力头剪枝实现模型压缩
完整代码已开源在课程 GitHub 仓库，同学们可以直接克隆使用。如果在实现过程中遇到问题，欢迎在 issue 区讨论交流。
正文完
