文本分类实战：从朴素贝叶斯到BERT的技术选型与性能优化

1次阅读

共计 2481 个字符，预计需要花费 7 分钟才能阅读完成。

在实际业务中，文本分类被广泛应用于各种场景，比如电商评论的情感分析、客服工单的自动分类、新闻内容的主题划分等。这些场景往往面临以下几个技术挑战：

数据多样性：文本数据可能存在拼写错误、方言、缩写等非标准表达。
类别不平衡：某些类别的样本数量远多于其他类别，导致模型偏向多数类。
高维稀疏性：文本特征通常非常高维且稀疏，尤其是使用词袋模型时。
实时性要求：在线服务需要低延迟响应，尤其是在高并发场景下。

以下是四种常见文本分类模型的对比表格：

模型	适用条件	优点	缺点
朴素贝叶斯	小规模数据，低计算资源	训练速度快，实现简单	忽略词序，特征独立性假设过强
SVM	高维稀疏特征，中等规模数据	泛化能力强，适合高维特征	核函数选择影响大，调参复杂
LSTM	序列数据，考虑上下文依赖	捕捉长距离依赖，适合变长文本	训练时间长，需要大量数据
BERT	大规模数据，预训练 + 微调	上下文感知，迁移学习能力强	计算资源消耗大，推理延迟高

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import LinearSVC
from sklearn.pipeline import Pipeline

# 定义 pipeline
model = Pipeline([('tfidf', TfidfVectorizer(**max_features=10000**)),  # 限制特征数量
    ('svm', LinearSVC(**C=1.0**, **penalty='l2'**, **loss='squared_hinge'**))
])

# 训练模型
model.fit(X_train, y_train)

import torch
import torch.nn as nn

class BiLSTM_Attention(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_dim, bidirectional=True, batch_first=True)
        self.attention = nn.Linear(2*hidden_dim, 1)
        self.fc = nn.Linear(2*hidden_dim, num_classes)

    def forward(self, x):
        embedded = self.embedding(x)  # [batch, seq_len, embed_dim]
        lstm_out, _ = self.lstm(embedded)  # [batch, seq_len, 2*hidden_dim]

        # 注意力机制
        attention_weights = torch.softmax(self.attention(lstm_out), dim=1)
        context = torch.sum(attention_weights * lstm_out, dim=1)

        return self.fc(context)

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import Trainer, TrainingArguments

# 加载预训练模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=num_classes)

# 训练参数设置
training_args = TrainingArguments(
    output_dir='./results',
    num_train_epochs=3,
    per_device_train_batch_size=16,
    **learning_rate=2e-5**,
    warmup_steps=500,
    weight_decay=0.01,
)

# 创建 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=val_dataset
)

# 开始训练
trainer.train()