共计 1640 个字符，预计需要花费 5 分钟才能阅读完成。
技术背景
朴素贝叶斯在文本分类中表现优异，主要得益于以下特点：
- 计算效率极高，适合处理高维特征（如文本词向量）
- 在小样本数据上表现稳定，不易过拟合
- 算法复杂度与数据量线性相关，适合大规模场景
痛点分析
高维稀疏矩阵的内存消耗
文本数据经过向量化后通常会产生维度爆炸（万维以上），传统密集矩阵存储会消耗大量内存。例如 10 万词汇表的 TF-IDF 矩阵，100MB 文本就可能占用数 GB 内存。
零概率事件处理
当测试数据出现训练时未见的特征时，传统概率计算会归零。需要通过平滑技术（如 Laplace 平滑）避免这种情况。
数据分布影响模型选择
sklearn 提供三种主要变体：
- MultinomialNB：适用于离散特征（如词频）
- GaussianNB：适合连续数值特征
- BernoulliNB：针对二值化特征（如是否出现某词）
实现方案
构建完整 Pipeline
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
# 完整训练流程
model = Pipeline([
('tfidf', TfidfVectorizer(
max_features=50000, # 控制特征维度
ngram_range=(1,2) # 包含 1 - 2 元语法
)),
('clf', MultinomialNB(
alpha=1.0, # Laplace 平滑系数
fit_prior=True # 学习类别先验
))
])
# 样本加权训练（处理类别不平衡）sample_weights = compute_sample_weight('balanced', y_train)
model.fit(X_train, y_train, clf__sample_weight=sample_weights)平滑技术对比
- Laplace 平滑（alpha=1）
- 默认添加 1 次伪计数
-
适用于大多数文本场景
-
Additive 平滑（alpha≠1）
- 通过交叉验证选择最优 alpha
- 典型值范围：0.1~10
性能优化
稀疏矩阵存储
# 强制使用 CSR 格式（适合行操作）from scipy.sparse import csr_matrix
X_train = csr_matrix(X_train)
# 特征选择后转换为 CSC 格式（适合列操作）from sklearn.feature_selection import SelectKBest
selector = SelectKBest(k=10000)
X_selected = selector.fit_transform(X_train.tocsc(), y_train)增量学习
# 初始化增量学习模型
clf = MultinomialNB()
classes = np.unique(y_full) # 需预先指定所有类别
# 分批训练
for batch in data_stream:
X_batch, y_batch = preprocess(batch)
clf.partial_fit(X_batch, y_batch, classes=classes)避坑指南
类别不平衡处理
- 设置 class_prior 参数直接指定先验概率
- 或使用 sample_weight 参数调整样本权重
特征独立性假设
- 避免高度相关的特征组合（如 ”not good” 和 ”bad”）
- 可通过卡方检验筛选特征
生产环境注意事项
- 模型版本控制
- 使用 joblib 保存完整 pipeline
-
记录特征维度等元数据
-
内存管理
- 限制 max_features 参数
- 定期重启服务避免内存泄漏
延伸思考
- 如何结合 Word2Vec 等嵌入技术增强特征表达？
- 在实时分类场景中，如何平衡模型更新频率和计算成本？
- 对于多语言文本，哪种特征提取方式更优？
通过本文介绍的方法，我们在实际项目中将文本分类的推理速度提升了 3 倍（对比传统 SVM），同时内存消耗减少 60%。关键点在于合理控制特征维度，并充分利用稀疏矩阵和增量学习的优势。
正文完
