基于BP神经网络的垃圾邮件过滤系统：从原理到工程实践

1次阅读

共计 2177 个字符，预计需要花费 6 分钟才能阅读完成。

传统垃圾邮件过滤主要依赖规则匹配和简单机器学习方法，但这些方案存在明显缺陷：

规则过滤系统 需要手动维护关键词库，遇到 ”Viagra” 变种（如 ”V1agra”）就失效
朴素贝叶斯 对特征独立性假设过强，无法捕捉 ” 免费领取 ” 与 ” 信用卡 ” 的关联性
SVM在大规模语料下计算成本激增，且对非平衡数据敏感

对比三种主流文本分类方案在邮件场景的表现：

方法	准确率	训练速度	特征需求	解释性
SVM	89%	慢	需特征工程	中等
随机森林	91%	较快	需特征工程	较好
BPNN	95%+	中等	自动学习	较差

BP 神经网络胜出的关键原因：

自动学习文本深层特征（如词序语义）
通过反向传播动态调整特征权重
配合 Dropout 可有效防止过拟合

# 混合特征提取示例
from sklearn.feature_extraction.text import TfidfVectorizer
from gensim.models import Word2Vec

# TF-IDF 特征（保留 top5000 词）tfidf = TfidfVectorizer(max_features=5000)
X_tfidf = tfidf.fit_transform(emails)

# Word2Vec 特征（300 维词向量）w2v = Word2Vec(sentences=tokenized_emails, vector_size=300, window=5)
X_w2v = [np.mean([w2v.wv[word] for word in email if word in w2v.wv] 
                or [np.zeros(300)], axis=0) 
        for email in tokenized_emails]

# 特征拼接
X = np.hstack([X_tfidf.toarray(), X_w2v])

推荐三层全连接网络：

输入层：5300 维（5000+300）
隐藏层：1024 单元，ReLU 激活
输出层：1 单元，Sigmoid 激活

关键技巧：

使用 BatchNorm 加速收敛
添加 Dropout 层（rate=0.5）防止过拟合
采用 Adam 优化器（lr=0.001）

import torch
import torch.nn as nn

class SpamClassifier(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.fc1 = nn.Linear(input_dim, 1024)
        self.bn1 = nn.BatchNorm1d(1024)
        self.dropout = nn.Dropout(0.5)
        self.fc2 = nn.Linear(1024, 1)

    def forward(self, x):
        x = torch.relu(self.bn1(self.fc1(x)))
        x = self.dropout(x)
        return torch.sigmoid(self.fc2(x))

# 训练循环示例
model = SpamClassifier(5300)
criterion = nn.BCELoss()
optimizer = torch.optim.Adam(model.parameters())

for epoch in range(10):
    for batch_x, batch_y in dataloader:
        optimizer.zero_grad()
        outputs = model(batch_x)
        loss = criterion(outputs, batch_y)
        loss.backward()
        optimizer.step()

from sklearn.metrics import confusion_matrix, roc_curve
import matplotlib.pyplot as plt

# 混淆矩阵
cm = confusion_matrix(y_true, y_pred > 0.5)
print(f"TN: {cm[0,0]} FP: {cm[0,1]}\nFN: {cm[1,0]} TP: {cm[1,1]}")

# ROC 曲线
fpr, tpr, _ = roc_curve(y_true, y_pred)
plt.plot(fpr, tpr)
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')