朴素贝叶斯模型实战：从原理到文本分类的Python实现

1次阅读

没有评论

共计 2138 个字符，预计需要花费 6 分钟才能阅读完成。

在开始学习机器学习时，文本分类往往是遇到的第一个实际问题。传统方法如正则表达式或关键词匹配存在明显缺陷：

需要人工编写大量规则，维护成本高
难以处理一词多义和上下文关联
面对新词或网络用语时泛化能力差

而复杂的深度学习模型虽然效果好，但对初学者来说：

需要大量标注数据
训练时间长，调参复杂
硬件要求高

朴素贝叶斯恰好平衡了这两个极端——它计算高效、实现简单，在中小规模数据集上就能取得不错的效果。

朴素贝叶斯的核心是贝叶斯定理：

P(Y|X) = P(X|Y)*P(Y) / P(X)

其中：

P(Y|X) 是后验概率（已知特征 X 时类别 Y 的概率）
P(X|Y) 是似然（在类别 Y 中特征 X 出现的概率）
P(Y) 是先验概率（类别 Y 的总体概率）

朴素贝叶斯的 ” 朴素 ” 体现在它假设所有特征之间相互独立。这个假设虽然在实际中很少完全成立，但带来了巨大优势：

计算复杂度从指数级降到线性级
避免维度灾难问题
对小数据集更友好

实际应用中，这种简化带来的效率提升往往超过了假设不准确的影响。

# 导入基础库
import numpy as np
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report

我们使用 20newsgroups 数据集的一个子集：

# 只取 4 个类别减少计算量
categories = ['alt.atheism', 'soc.religion.christian', 'comp.graphics', 'sci.med']

# 加载训练集和测试集
train_data = fetch_20newsgroups(subset='train', categories=categories)
test_data = fetch_20newsgroups(subset='test', categories=categories)

文本数据必须转换为数值特征。这里演示 TF-IDF 方法：

# 初始化 TF-IDF 转换器
tfidf = TfidfVectorizer(stop_words='english', max_features=5000)

# 转换训练数据
X_train = tfidf.fit_transform(train_data.data)
y_train = train_data.target

# 转换测试数据
X_test = tfidf.transform(test_data.data)
y_test = test_data.target

# 初始化多项式朴素贝叶斯
model = MultinomialNB()

# 训练模型
model.fit(X_train, y_train)

# 预测测试集
y_pred = model.predict(X_test)

# 输出分类报告
print(classification_report(y_test, y_pred, target_names=test_data.target_names))

朴素贝叶斯主要有三种实现：

高斯朴素贝叶斯 (GaussianNB)：适用于连续特征，假设特征服从正态分布
多项式朴素贝叶斯 (MultinomialNB)：适用于离散计数（如文本词频）
伯努利朴素贝叶斯 (BernoulliNB)：适用于二值特征（如是否出现某词）

对于文本分类，通常选择 MultinomialNB 效果最好。

当测试集中出现训练时未见的特征时，会导致概率为 0。解决方法：

# 使用拉普拉斯平滑
model = MultinomialNB(alpha=1.0)  # alpha 是平滑参数

如果特征间确实强相关：

考虑使用特征选择降低相关性
尝试半朴素贝叶斯方法（放松独立性假设）
必要时换用其他模型（如逻辑回归）

当数据量很大时：

使用稀疏矩阵存储特征
限制特征数量（max_features 参数）
分批训练（partial_fit 方法）

# 分批训练示例
model = MultinomialNB()
batch_size = 1000
for i in range(0, len(X_train), batch_size):
    model.partial_fit(X_train[i:i+batch_size], 
                     y_train[i:i+batch_size],
                     classes=np.unique(y_train))

文章最后，留给大家两个思考问题：