共计 1510 个字符，预计需要花费 4 分钟才能阅读完成。
背景痛点
传统垃圾邮件过滤主要依赖关键词规则匹配，比如检测包含 ” 免费 ”、” 赢取 ” 等词汇的邮件。这种方法有两个明显缺陷：
- 规则维护成本高：每天新增垃圾邮件变种需要人工更新规则库
- 识别率低：稍微修改关键词（如 ” 免_费 ”）就能绕过检测
技术选型
对比常见文本分类算法：
- 朴素贝叶斯：计算效率高、适合小数据集、实现简单
- SVM：分类效果好但训练耗时长
- 随机森林：需要更多计算资源，适合复杂特征
选择朴素贝叶斯的三大理由：
- 垃圾邮件特征相对独立（发件人、主题、正文词汇等）
- 每天需要处理海量邮件，需要轻量级算法
- 新数据到来时可以增量更新模型
核心实现
文本预处理
- 分词处理（英文直接按空格切分，中文需用 jieba 等工具）
- 停用词过滤（去除 ” 的 ”、” 是 ” 等无意义词）
- 词干提取（将 ”running” 转为 ”run”）
- TF-IDF 向量化（衡量词语重要性）
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer(stop_words='english', max_features=5000)
X = tfidf.fit_transform(emails)数学原理
朴素贝叶斯核心公式：
P(垃圾 | 邮件) = P(垃圾) * ∏ P(单词 | 垃圾) / P(邮件)使用拉普拉斯平滑避免零概率问题：
P(单词 | 垃圾) = (词在垃圾邮件出现次数 + 1) / (垃圾邮件总词数 + 词汇表大小)完整代码实现
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.2)
# 训练模型
model = MultinomialNB(alpha=1.0) # 拉普拉斯平滑
model.fit(X_train, y_train)
# 预测
predictions = model.predict(X_test)评估指标
关键指标计算方式：
- 准确率 = (TP+TN)/(TP+TN+FP+FN)
- 召回率 = TP/(TP+FN)
- F1 = 2(准确率 召回率)/(准确率 + 召回率)
from sklearn.metrics import classification_report
print(classification_report(y_test, predictions))生产环境考量
模型增量更新
使用 partial_fit 方法实现增量学习：
# 每天新增数据时
model.partial_fit(new_X, new_y, classes=[0, 1])特殊字符处理
- 统一转换编码为 UTF-8
- 处理 HTML 标签（BeautifulSoup 提取纯文本）
- 识别并规范处理特殊符号（如 $→[DOL]）
性能优化
- 特征选择：保留 TF-IDF 权重最高的 5000 个词
- 哈希技巧：用
HashingVectorizer替代 TF-IDF - 并行处理：使用
joblib加速特征提取
避坑指南
样本不平衡
解决方案：
- 对少数类过采样（SMOTE 算法）
- 调整类别权重
model = MultinomialNB(class_prior=[0.3, 0.7]) # 假设垃圾邮件占比 30%避免过拟合
- 使用交叉验证选择最佳 alpha 参数
- 限制最大特征数
- 添加早停机制（验证集性能下降时停止训练）
思考题
新型钓鱼邮件常模仿正常邮件写作风格：
- 如何改进特征工程（加入发件人域名分析、链接检测等）？
- 能否结合深度学习提取更高级的文本特征？
- 如何实现半自动化的样本标注流程？
期待你在评论区分享实战经验！
正文完
