3种朴素贝叶斯算法实战指南：从原理到Python实现

1次阅读

没有评论

共计 2055 个字符，预计需要花费 6 分钟才能阅读完成。

在真实业务中，朴素贝叶斯算法常用于文本分类任务。比如：

垃圾邮件过滤：通过分析邮件中的关键词（如 ” 免费 ”、” 中奖 ”），判断邮件是否为垃圾邮件
情感分析：根据商品评论中的情感词（如 ” 好 ”、” 差 ”），预测用户评价的正面 / 负面倾向

这些场景的共同特点是：特征维度高（词汇量大）、数据稀疏（大多数词不会同时出现），而朴素贝叶斯恰好适合处理这类问题。

朴素贝叶斯的核心公式都是基于贝叶斯定理：

$$P(y|X) = \frac{P(X|y)P(y)}{P(X)}$$

但三种变体对 $P(X|y)$ 的计算方式不同：

高斯朴素贝叶斯
假设特征服从正态分布：
$$P(x_i|y) = \frac{1}{\sqrt{2\pi\sigma_y^2}} \exp\left(-\frac{(x_i – \mu_y)^2}{2\sigma_y^2}\right)$$
适用于连续型特征（如温度、价格）
多项式朴素贝叶斯
使用频率计数：
$$P(x_i|y) = \frac{N_{yi} + \alpha}{N_y + \alpha n}$$
适用于文本词频统计（α 是平滑系数）
伯努利朴素贝叶斯
只考虑特征是否出现（0/1）：
$$P(x_i|y) = P(i|y)x_i + (1 – P(i|y))(1 – x_i)$$
适合短文本或存在性特征

from sklearn.naive_bayes import GaussianNB, MultinomialNB, BernoulliNB
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 示例数据：影评数据集
X = ["这部电影太棒了", "糟糕的观影体验", "演员演技在线"]
y = ["正面", "负面", "正面"]

# 文本向量化（特征工程）vectorizer = TfidfVectorizer()
X_vec = vectorizer.fit_transform(X)

# 数据集划分
X_train, X_test, y_train, y_test = train_test_split(X_vec, y, test_size=0.2)

# 三种模型训练
gnb = GaussianNB()
model_gnb = gnb.fit(X_train.toarray(), y_train)

mnb = MultinomialNB(alpha=1.0)  # 拉普拉斯平滑
model_mnb = mnb.fit(X_train, y_train)

bnb = BernoulliNB(binarize=0.5)
model_bnb = bnb.fit(X_train, y_train)

# 模型评估
print("高斯朴素贝叶斯:")
print(classification_report(y_test, model_gnb.predict(X_test.toarray())))

print("多项式朴素贝叶斯:")
print(classification_report(y_test, model_mnb.predict(X_test)))

print("伯努利朴素贝叶斯:")
print(classification_report(y_test, model_bnb.predict(X_test)))

TF-IDF 处理：

from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_features=5000, ngram_range=(1,2))

max_features限制特征维度
ngram_range捕获词语组合

超参数调优：

from sklearn.model_selection import GridSearchCV
params = {"alpha": [0.1, 1, 10]}
grid = GridSearchCV(MultinomialNB(), params, cv=5)
grid.fit(X_train, y_train)