朴素贝叶斯模型实战：从原理到文本分类的工业级实现

1次阅读

共计 2398 个字符，预计需要花费 6 分钟才能阅读完成。

朴素贝叶斯模型在 NLP 领域有着广泛的应用，尤其是在文本分类、垃圾邮件过滤和情感分析等场景中表现突出。其独特之处在于能够高效处理高维稀疏数据，这正是文本数据的典型特征。例如，在构建一个新闻分类系统时，我们可能需要处理成千上万个不同的单词作为特征，而朴素贝叶斯模型能够在这种高维稀疏特征空间下保持良好的性能和计算效率。

文本数据的预处理是构建高效分类器的关键步骤。以下是一个完整的预处理流程：

文本清洗：去除 HTML 标签、特殊字符、停用词等
词干提取或词形还原
TF-IDF 向量化

from sklearn.feature_extraction.text import TfidfVectorizer
from nltk.stem import PorterStemmer
from nltk.tokenize import word_tokenize
import re

def clean_text(text):
    # 去除 HTML 标签
    text = re.sub(r'<[^>]+>', '', text)
    # 去除特殊字符
    text = re.sub(r'[^a-zA-Z\s]', '', text)
    # 转换为小写
    return text.lower()

def stem_tokens(tokens, stemmer):
    return [stemmer.stem(item) for item in tokens]

def tokenize(text):
    stemmer = PorterStemmer()
    tokens = word_tokenize(text)
    stems = stem_tokens(tokens, stemmer)
    return stems

vectorizer = TfidfVectorizer(
    tokenizer=tokenize,
    stop_words='english',
    max_features=5000
)

在朴素贝叶斯模型中，alpha 平滑系数是最重要的超参数之一：

alpha=1：默认的拉普拉斯平滑，防止零概率问题
alpha<1：适用于特征空间较小且数据量充足的情况
alpha>1：适用于特征空间非常稀疏的情况

朴素贝叶斯面临的主要挑战是零概率问题，即当某个类别中没有出现某个特征时，该特征的概率为零，导致整个概率乘积为零。拉普拉斯平滑 (Laplace Smoothing) 是解决这个问题的标准方法。

数学公式推导：

$$P(w_i|c) = \frac{count(w_i, c) + \alpha}{count(c) + \alpha \times V}$$

其中：
– $count(w_i, c)$ 是特征 $w_i$ 在类别 $c$ 中出现的次数
– $count(c)$ 是类别 $c$ 中所有特征出现的总次数
– $V$ 是词汇表大小
– $\alpha$ 是平滑参数

from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import seaborn as sns

# 构建完整 pipeline
model = Pipeline([('vectorizer', vectorizer),
    ('classifier', MultinomialNB(alpha=0.1))
])

# 训练模型
X_train, X_test, y_train, y_test = train_test_split(texts, labels, test_size=0.2, random_state=42)
model.fit(X_train, y_train)

# 特征重要性分析
feature_names = vectorizer.get_feature_names_out()
coefs = model.named_steps['classifier'].coef_[0]

plt.figure(figsize=(10, 6))
sns.barplot(x=coefs[:20],
    y=feature_names[np.argsort(coefs)[-20:]]
)
plt.title('Top 20 Important Features')
plt.tight_layout()

# 显式释放资源
del model
plt.close()

GaussianNB：适用于连续特征
MultinomialNB：适用于离散计数特征
BernoulliNB：适用于二元特征

在实际文本分类任务中，MultinomialNB 通常表现最好。

对于海量特征数据，可以考虑使用 Dask 进行分布式计算：

from dask_ml.feature_extraction.text import HashingVectorizer
from dask_ml.naive_bayes import MultinomialNB as DaskMultinomialNB

# 使用 HashingVectorizer 避免内存问题
vectorizer = HashingVectorizer(n_features=2**18)
model = DaskMultinomialNB(alpha=0.1)