朴素贝叶斯案例实战：从文本分类到垃圾邮件过滤

1次阅读

共计 2649 个字符，预计需要花费 7 分钟才能阅读完成。

朴素贝叶斯算法是一种基于贝叶斯定理和特征条件独立假设的分类方法。它的核心思想是通过计算各个类别的概率，选择概率最大的类别作为预测结果。朴素贝叶斯算法特别适合处理文本分类问题，如垃圾邮件过滤、情感分析等，因为文本数据通常具有高维度、稀疏性的特点。

文本分类（垃圾邮件检测、新闻分类）
情感分析（正面 / 负面评价识别）
推荐系统（基于内容的推荐）

在实际应用中，朴素贝叶斯算法面临以下几个主要问题：

数据稀疏性：某些词可能在训练集中出现次数极少，导致概率估计不准确
特征相关性假设：算法假设特征之间相互独立，但实际文本中词语往往存在关联
零概率问题：当测试集中出现训练集未包含的词时，会导致概率为零
类别不平衡：某些类别的样本数量远多于其他类别，影响分类效果

首先需要安装必要的 Python 库：

pip install scikit-learn pandas numpy

完整的文本预处理包括以下步骤：

分词：将文本分割成单词或词组
停用词处理：移除常见但无意义的词（如 ” 的 ”、” 是 ”）
词干提取：将词语还原为基本形式（如 ”running”→”run”）
向量化：将文本转换为数值特征（如 TF-IDF）

下面是使用 sklearn 实现朴素贝叶斯分类器的完整代码：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
import pandas as pd

# 1. 加载数据集
# 假设我们有一个包含邮件内容和标签的 CSV 文件
# 列名为 "text" 和 "label"（0 表示正常邮件，1 表示垃圾邮件）data = pd.read_csv('emails.csv')

# 2. 数据预处理
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(data['text'], data['label'], test_size=0.2, random_state=42
)

# 3. 特征提取 - 使用 TF-IDF
vectorizer = TfidfVectorizer(
    stop_words='english',  # 移除英文停用词
    max_features=5000,     # 只保留最重要的 5000 个特征
    ngram_range=(1, 2)     # 考虑单个词和双词组合
)
X_train_vec = vectorizer.fit_transform(X_train)
X_test_vec = vectorizer.transform(X_test)

# 4. 模型训练
model = MultinomialNB(alpha=1.0)  # 使用拉普拉斯平滑
model.fit(X_train_vec, y_train)

# 5. 模型评估
y_pred = model.predict(X_test_vec)
print(classification_report(y_test, y_pred))

TfidfVectorizer：将文本转换为 TF-IDF 特征矩阵
MultinomialNB：多项式朴素贝叶斯分类器，适合离散特征（如词频）
alpha=1.0：拉普拉斯平滑参数，防止零概率问题
classification_report：输出精确率、召回率、F1 分数等指标

我们可以使用公开的垃圾邮件数据集，如 SpamAssassin 数据集。数据预处理包括：

清理 HTML 标签
处理特殊字符
统一大小写
移除数字（除非它们对分类很重要）

典型的评估结果可能如下：

              precision    recall  f1-score   support

           0       0.98      0.99      0.99       965
           1       0.96      0.92      0.94       149

    accuracy                           0.98      1114
   macro avg       0.97      0.96      0.96      1114
weighted avg       0.98      0.98      0.98      1114

这表明模型在正常邮件（类别 0）上表现非常好，在垃圾邮件（类别 1）上也有不错的识别率。

朴素贝叶斯面临的主要问题是零概率。解决方案包括：

拉普拉斯平滑（加 1 平滑）
Lidstone 平滑（加 λ 平滑，0<λ<1）
绝对折扣平滑

在 sklearn 中，通过调整 alpha 参数实现平滑：

# 尝试不同的平滑参数
alphas = [0.1, 0.5, 1.0, 2.0]
for a in alphas:
    model = MultinomialNB(alpha=a)
    model.fit(X_train_vec, y_train)
    score = model.score(X_test_vec, y_test)
    print(f"Alpha={a}: Accuracy={score:.4f}")

改进模型性能的其他方法：