朴素贝叶斯算法入门指南：从07-1头歌实例到实战应用

1次阅读

没有评论

共计 3159 个字符，预计需要花费 8 分钟才能阅读完成。

朴素贝叶斯（Naive Bayes）是机器学习中最基础且实用的分类算法之一。它的 ” 朴素 ” 源于对特征条件独立性的假设，虽然这个假设在现实中很难完全成立，但在文本分类等领域表现却出奇地好。我们先从最基本的数学原理开始理解。

朴素贝叶斯基于贝叶斯定理，公式如下：

$$ P(y|x_1,…,x_n) = \frac{P(y)\prod_{i=1}^{n}P(x_i|y)}{P(x_1,…,x_n)} $$

其中：

$y$ 是类别变量
$x_1$ 到 $x_n$ 是特征变量
分母可以看作归一化常数

朴素贝叶斯的 ” 朴素 ” 之处在于它假设所有特征相互独立，这使得计算变得可行。虽然这个假设看起来过于简化，但在实际应用中，特别是文本分类中，效果往往不错。

让我们通过 07- 1 头歌实例来实践朴素贝叶斯算法。整个过程可以分为以下几个关键步骤：

数据加载与探索
文本预处理
特征提取
模型训练
评估与优化

首先，我们需要加载数据集。在 Python 中可以使用 pandas 库：

import pandas as pd

data = pd.read_csv('07-1_head_song.csv')
print(data.head())

文本数据需要经过几个预处理步骤：

分词：将句子拆分成单词
去停用词：移除常见但无意义的词（如 ” 的 ”、” 是 ”）
标准化：统一大小写、处理标点等

from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
import string

def preprocess(text):
    # 转换为小写
    text = text.lower()
    # 分词
    tokens = word_tokenize(text)
    # 移除标点和停用词
    tokens = [word for word in tokens if word not in stopwords.words('chinese') and word not in string.punctuation]
    return tokens

data['processed'] = data['text'].apply(preprocess)

常用的文本特征提取方法有词频（CountVectorizer）和 TF-IDF（TfidfVectorizer）。这里我们使用 TF-IDF：

from sklearn.feature_extraction.text import TfidfVectorizer

# 将分词后的列表转换回字符串
data['processed_text'] = data['processed'].apply(' '.join)

tfidf = TfidfVectorizer(max_features=1000)
X = tfidf.fit_transform(data['processed_text'])
y = data['label']

使用 sklearn 的 MultinomialNB 实现多项式朴素贝叶斯：

from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
model = MultinomialNB()
model.fit(X_train, y_train)

评估分类模型常用的指标包括准确率、精确率、召回率和 F1 分数：

from sklearn.metrics import classification_report

y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))

与其他算法相比，朴素贝叶斯有以下特点：

训练速度快
对高维数据友好
需要较少训练数据
对无关特征较敏感

实际使用朴素贝叶斯时，有几个常见问题需要注意：

使用拉普拉斯平滑（加一平滑）可以避免特征在训练集中未出现导致概率为零的情况：

model = MultinomialNB(alpha=1.0)  # alpha 是平滑参数

不是所有特征都对分类有帮助，可以使用卡方检验等方法选择最有区分度的特征：

from sklearn.feature_selection import SelectKBest, chi2

# 选择前 1000 个最有区分度的特征
X_new = SelectKBest(chi2, k=1000).fit_transform(X, y)

当各类别样本数量差异很大时，可以考虑：

上采样少数类
下采样多数类
使用类别权重

朴素贝叶斯虽然简单有效，但也有局限性：

条件独立性假设在现实中往往不成立
对输入数据的分布有假设（如多项式朴素贝叶斯假设特征是多项式分布）

改进方向包括：

使用半朴素贝叶斯方法，适当放松独立性假设
尝试不同的朴素贝叶斯变体（高斯、伯努利等）
与其他模型集成

# 完整朴素贝叶斯文本分类示例
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 1. 加载数据
data = pd.read_csv('07-1_head_song.csv')

# 2. 文本预处理
def preprocess(text):
    text = text.lower()
    tokens = word_tokenize(text)
    tokens = [word for word in tokens if word not in stopwords.words('chinese') and word not in string.punctuation]
    return ' '.join(tokens)

data['processed'] = data['text'].apply(preprocess)

# 3. 特征提取
tfidf = TfidfVectorizer(max_features=1000)
X = tfidf.fit_transform(data['processed'])
y = data['label']

# 4. 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 5. 训练模型
model = MultinomialNB(alpha=1.0)
model.fit(X_train, y_train)

# 6. 评估
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))

为了进一步掌握朴素贝叶斯，建议尝试：