从朴素贝叶斯到BERT：文本分类算法演进与实战对比

共计 2267 个字符，预计需要花费 6 分钟才能阅读完成。

问题背景

文本分类作为 NLP 基础任务，在舆情监控（如识别负面评论）、客服工单分类（自动路由到对应部门）等场景有核心价值。传统基于关键词规则的方法（如正则匹配）虽然直观，但面临两大问题：

• 泛化性差：新增类别需人工编写规则，” 性价比低 ” 和 ” 价格贵 ” 这样的同义表达需要分别处理
• 维护成本高：业务变化时需持续更新规则库，无法自动学习语义关联

算法横向对比

测试环境：Amazon EC2 p3.2xlarge 实例，数据集为 10 万条中文电商评论

核心实现细节

1. 朴素贝叶斯实战要点

• TF-IDF 特征提取：消除高频无意义词影响

  from sklearn.feature_extraction.text import TfidfVectorizer
  tfidf = TfidfVectorizer(max_features=5000, ngram_range=(1,2))
  X_train = tfidf.fit_transform(train_texts)

• 拉普拉斯平滑：避免零概率问题

  from sklearn.naive_bayes import MultinomialNB
  model = MultinomialNB(alpha=1.0)  # alpha 即平滑系数

2. SVM 核函数选择

• 线性核：适合高维特征（如 TF-IDF 后的稀疏矩阵）
• RBF 核：能处理非线性边界（需配合 Word2Vec 词向量）
• 多项式核：对特征组合敏感（适合短文本）

3. LSTM 的 Attention 可视化

# 使用 PyTorch 实现
class Attention(nn.Module):
    def forward(self, lstm_output):
        # lstm_output 形状: [batch_size, seq_len, hidden_dim]
        weights = torch.softmax(self.W(lstm_output), dim=1)
        return torch.sum(weights * lstm_output, dim=1)

可视化效果：模型会聚焦在 ” 质量差 ”、” 退货 ” 等关键词上

4. BERT 微调策略

• 分层学习率：顶层参数用较大 lr（如 2e-5），底层用较小 lr（如 5e-6）
• 部分冻结：前 8 层参数固定，只微调后 4 层

完整代码示例（BERT 微调）

# 数据预处理
import re
def clean_text(text):
    text = re.sub(r'\[.*?\]', '', text)  # 去除特殊标记
    text = re.sub(r'\s+', ' ', text)     # 合并空白字符
    return text[:512]  # BERT 最长输入限制

# 构建 Dataset
class ReviewDataset(Dataset):
    def __init__(self, texts, labels, tokenizer):
        self.encodings = tokenizer(
            texts, 
            truncation=True, 
            padding='max_length', 
            max_length=128
        )
        self.labels = labels

# Warmup 调度器
from transformers import get_linear_schedule_with_warmup
num_warmup_steps = int(0.1 * total_steps)  # 10% 的 step 用于 warmup
scheduler = get_linear_schedule_with_warmup(
    optimizer, 
    num_warmup_steps=num_warmup_steps,
    num_training_steps=total_steps
)

# 处理类别不平衡
weights = torch.tensor([1.0, 2.5, 1.8])  # 假设负面类权重更高
criterion = nn.CrossEntropyLoss(weight=weights)

生产环境优化

模型蒸馏

from transformers import DistilBertForSequenceClassification
distilled = DistilBertForSequenceClassification.from_pretrained(
    'distilbert-base-multilingual-cased',
    num_labels=3
)
# 用原 BERT 模型输出作为 soft target

GPU 显存优化技巧

• 梯度累积：每 4 个 batch 更新一次参数
• 混合精度训练：

  from torch.cuda.amp import autocast, GradScaler
  scaler = GradScaler()
  with autocast():
      outputs = model(inputs)

对抗防御方案

• 输入预处理：对文本进行随机字符删除（<5% 字符）
• 对抗训练：在损失函数中加入 FGSM 扰动项

延伸思考

建议读者尝试：

1. 对同一数据集测试 CountVectorizer vs TF-IDF 对 SVM 的影响
2. 比较 BERT 的 [CLS] 向量与平均池化的效果差异
3. 在 LSTM 中尝试替换 GRU 单元观察训练速度变化

最终模型选择应综合考量：业务需求（是否实时响应）、团队算力、可解释性要求等维度。在客服工单分类场景，SVM+ 精心设计的词向量往往能达到性价比最优。