基于TF-IDF与朴素贝叶斯的垃圾邮件分类实战：从特征提取到模型性能优化

1次阅读

没有评论

共计 2255 个字符，预计需要花费 6 分钟才能阅读完成。

在数字化时代，垃圾邮件泛滥成灾。传统的关键词过滤方法（如黑名单）存在明显缺陷：

规则维护成本高，需要人工持续更新
无法识别变体拼写和语义相似的垃圾内容
缺乏量化标准导致误判率高

统计学习方法通过分析文本特征模式来自动分类，但面临两个核心挑战：

如何将非结构化的文本转化为机器学习可处理的数值特征
如何选择适合文本分类的高效算法

词袋模型(BOW)
简单统计词频
缺点：忽略词序且无法体现词的重要性
Word2Vec
捕获语义关系
缺点：需要大量数据训练且计算复杂
TF-IDF
优势：通过逆向文档频率自动降低常见词的权重
计算效率高，特别适合短文本分类

朴素贝叶斯在文本分类中的优势：
对高维特征表现稳定
训练速度快，内存消耗低
天然适合处理稀疏矩阵（TF-IDF 的典型输出）

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, confusion_matrix

# 示例数据加载（实际使用时替换为真实数据集）data = pd.read_csv('emails.csv')
# 简单清洗：去除空值
data = data.dropna()
# 标签编码：0- 正常邮件，1- 垃圾邮件
data['label'] = data['label'].map({'ham':0, 'spam':1})

# 关键参数说明：# max_features: 限制特征维度，避免维度灾难
# stop_words: 自动过滤常见无意义词
tfidf = TfidfVectorizer(max_features=5000, stop_words='english')

# 特征转换（注意：先 fit_transform 训练集，transform 测试集）X = tfidf.fit_transform(data['text'])
y = data['label']

# 数据集划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化分类器（alpha= 1 为拉普拉斯平滑）model = MultinomialNB(alpha=1)
model.fit(X_train, y_train)

# 预测测试集
predictions = model.predict(X_test)

print(f"准确率: {accuracy_score(y_test, predictions):.2f}")
print("混淆矩阵:\n", confusion_matrix(y_test, predictions))

典型输出示例：

准确率: 0.97
混淆矩阵:
 [[965   5]
 [20 125]]

准确率 97% 说明整体效果良好
混淆矩阵显示：
5 封正常邮件被误判为垃圾（假阳性）
20 封垃圾邮件未被识别（假阴性）

当垃圾邮件占比过小时：

采样策略：
对少数类过采样(SMOTE)
对多数类欠采样

调整类别权重：

model = MultinomialNB(class_prior=[0.3, 0.7])

自定义停用词表：

my_stop_words = ['get', 'please', ...]
tfidf.set_params(stop_words=my_stop_words)

保留否定词（如 ”not”）以避免语义反转

通过方差阈值过滤低方差特征：

from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold(threshold=0.01)
X_reduced = selector.fit_transform(X)

加入 n -gram 特征（如 bigram 捕获短语）
```
TfidfVectorizer(ngram_range=(1,2))
```
添加邮件元特征（如发件人域名、邮件长度等）

与 SVM 组合成投票分类器：

from sklearn.ensemble import VotingClassifier
from sklearn.svm import SVC

estimators = [('nb', MultinomialNB()),
    ('svm', SVC(kernel='linear'))
]
ensemble = VotingClassifier(estimators)