从朴素贝叶斯到BERT：NLP入门算法全解析与实战对比

1次阅读

共计 2334 个字符，预计需要花费 6 分钟才能阅读完成。

文本分类是自然语言处理中最基础也最常用的任务之一。它可以帮助我们自动过滤垃圾邮件、分析用户评论情感倾向、对新闻文章进行主题归类。掌握不同文本分类算法的特点，能够根据业务需求选择最合适的模型，是 NLP 工程师的必备技能。

算法	核心思想	优点	缺点	适用场景
朴素贝叶斯	基于贝叶斯定理和特征条件独立假设	训练速度快，对小数据集友好	特征独立性假设在实际中很难满足	垃圾邮件过滤、简单分类任务
SVM	寻找最优超平面最大化分类间隔	在高维空间表现好，适合小样本	核函数选择困难，大规模数据训练慢	中等规模数据集、特征维度高
LSTM	通过门控机制建模长距离依赖	能捕捉上下文信息，适合序列数据	训练速度慢，容易梯度消失 / 爆炸	文本情感分析、命名实体识别
BERT	基于 Transformer 的预训练语言模型	上下文感知，SOTA 效果	计算资源消耗大，需要微调	对准确率要求高的复杂任务

# sklearn 文本分类 Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.svm import SVC
from sklearn.pipeline import make_pipeline

# 朴素贝叶斯
nb_model = make_pipeline(TfidfVectorizer(),  # 文本转 TF-IDF 特征
    MultinomialNB()     # 朴素贝叶斯分类器)

# SVM
svm_model = make_pipeline(TfidfVectorizer(),
    SVC(kernel='rbf')   # 使用 RBF 核函数
)

# PyTorch LSTM 模型
import torch
import torch.nn as nn

class LSTMTagger(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_dim, output_size):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True)
        self.fc = nn.Linear(hidden_dim, output_size)

    def forward(self, x):
        x = self.embedding(x)  # [batch, seq_len] -> [batch, seq_len, embed_dim]
        lstm_out, _ = self.lstm(x)
        out = self.fc(lstm_out[:, -1, :])  # 取最后一个时间步
        return out

# HuggingFace Transformers 加载 BERT
from transformers import BertTokenizer, BertForSequenceClassification

# 加载预训练模型和 tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased', 
    num_labels=2  # 二分类
)

# 文本编码
inputs = tokenizer("This is a positive sentence", return_tensors="pt")
outputs = model(**inputs)

我们在 IMDB 影评数据集 (50K 条) 和 Amazon 商品评论数据集 (1M 条) 上进行了测试：

训练耗时
小数据集(1 万条):
- 朴素贝叶斯: 2.3 秒
- SVM: 58 秒
- LSTM(1 GPU): 12 分钟
- BERT(1 GPU): 25 分钟
大数据集(100 万条):
- 朴素贝叶斯: 4 分钟
- SVM: 内存溢出
- LSTM(1 GPU): 6 小时
- BERT(1 GPU): 需要分布式训练
模型大小与推理延迟
朴素贝叶斯: 5MB / 0.2ms
SVM: 300MB / 3ms
LSTM: 50MB / 5ms
BERT-base: 440MB / 50ms