从零构建朴素贝叶斯模型：基于sklearn的实战入门指南

1次阅读

没有评论

共计 1994 个字符，预计需要花费 5 分钟才能阅读完成。

朴素贝叶斯是一种基于贝叶斯定理的简单概率分类器，它假设特征之间相互独立（即“朴素”的由来）。尽管这个假设在现实中很少成立，但朴素贝叶斯在实践中表现惊人地好，尤其是在文本分类任务中。

它的核心思想是通过已知类别的训练数据，计算每个特征在不同类别下的条件概率，然后利用贝叶斯定理预测新样本的类别。

优点包括：

训练和预测速度快
对小规模数据表现良好
对噪声数据有较强的鲁棒性

在构建朴素贝叶斯模型前，我们需要对原始数据进行预处理。对于文本数据，常见的步骤包括：

文本清洗：去除标点符号、停用词等
分词：将文本分割成单词或短语
向量化：将文本转换为数值特征

最常用的文本向量化方法是 TF-IDF（词频 - 逆文档频率）。TF-IDF 不仅考虑词频 (TF)，还考虑了词语在整个语料库中的重要性 (IDF)。

from sklearn.feature_extraction.text import TfidfVectorizer

# 示例文本数据
texts = ["This is the first document.", 
         "This document is the second document.", 
         "And this is the third one."]

# 创建 TF-IDF 向量化器
tfidf = TfidfVectorizer()

# 拟合并转换文本数据
X = tfidf.fit_transform(texts)

# 查看生成的词汇表
print(tfidf.get_feature_names_out())

sklearn 提供了多种朴素贝叶斯实现，对于文本分类我们通常使用 MultinomialNB（多项式朴素贝叶斯）。

导入必要的库
准备数据（特征 X 和标签 y）
划分训练集和测试集
创建并训练模型

from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 假设我们已经有向量化后的特征 X 和标签 y
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建朴素贝叶斯分类器
model = MultinomialNB()

# 训练模型
model.fit(X_train, y_train)

# 在测试集上预测
y_pred = model.predict(X_test)

# 计算准确率
print("Accuracy:", accuracy_score(y_test, y_pred))

朴素贝叶斯的主要可调参数是 alpha（平滑参数）。

alpha=1：默认值，Laplace 平滑
alpha<1：Lidstone 平滑
alpha=0：无平滑

平滑主要是为了防止零概率问题（即某个特征在训练集中从未出现在某个类别中）。我们可以使用网格搜索来寻找最佳 alpha 值：

from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {"alpha": [0.1, 0.5, 1.0, 1.5, 2.0]}

# 创建网格搜索
grid = GridSearchCV(MultinomialNB(), param_grid, cv=5)
grid.fit(X_train, y_train)

# 输出最佳参数
print("Best alpha:", grid.best_params_)