贝叶斯学派与频率学派之争：从理论到朴素贝叶斯分类器的实战应用

1次阅读

共计 2271 个字符，预计需要花费 6 分钟才能阅读完成。

统计学界的两大流派——贝叶斯学派和频率学派，最根本的分歧在于对 ” 概率 ” 的理解：

频率学派 认为概率是长期重复事件发生的频率，比如掷硬币正面向上的概率是 50%。其核心方法论依赖大数定律，通过大量重复实验来逼近真实概率。
贝叶斯学派 则将概率视为对事件发生的信念程度，允许引入先验知识（先验概率），并通过观测数据不断更新这个信念（后验概率）。就像医生根据患者的症状更新疾病可能性。

频率学派 使用最大似然估计(MLE)，只依赖当前观测数据。例如估计硬币正面概率，直接计算观测序列中正面的比例。
贝叶斯方法 采用最大后验估计(MAP)，会考虑先验分布。比如即使观测到 3 次正面，如果先验认为硬币很可能是公平的，最终估计值会向 0.5 收缩。

频率学派 的 p 值检验：计算在零假设成立时，出现当前或更极端结果的概率。关注 ” 如果假设为真，数据有多奇怪 ”
贝叶斯因子：直接比较两种假设下数据的相对可能性。可以回答 ” 假设 A 比假设 B 更可能多少倍 ” 这类更直观的问题

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split

# 示例数据：正面 / 负面评论
texts = ["这个产品太好用了", "质量很差，不推荐", ...]
labels = [1, 0, ...]  # 1= 正面, 0= 负面

# TF-IDF 特征提取
tfidf = TfidfVectorizer(token_pattern=r'(?u)\b\w+\b')
X = tfidf.fit_transform(texts)

# 添加拉普拉斯平滑
clf = MultinomialNB(alpha=1.0)  # alpha= 1 即为 + 1 平滑
X_train, X_test, y_train, y_test = train_test_split(X, labels)
clf.fit(X_train, y_train)

朴素贝叶斯的 ” 朴素 ” 体现在特征条件独立性假设：

P(类别 | 特征) ∝ P(类别) * Π P(特征 | 类别)

实际计算时使用对数概率避免下溢：

import numpy as np

# 手动实现关键计算步骤
class NaiveBayes:
    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.classes = np.unique(y)
        n_classes = len(self.classes)

        # 计算先验概率（对数形式）self.priors = np.log([np.mean(y == c) for c in self.classes])

        # 计算条件概率（考虑平滑）self.cond_probs = np.zeros((n_classes, n_features))
        for idx, c in enumerate(self.classes):
            X_c = X[y == c]
            # 拉普拉斯平滑处理
            self.cond_probs[idx] = np.log((X_c.sum(axis=0) + 1) / 
                                        (X_c.sum() + n_features))

训练复杂度 O(n_features * n_classes)，远低于 SVM 的 O(n_samples^3)
预测只需计算特征概率的乘积，适合实时系统

当训练数据不足时，引入合理先验的贝叶斯方法往往优于纯依赖数据的频率方法

实际应用中特征往往相关，这会导致：
– 低估 / 高估某些组合特征的重要性
– 半朴素贝叶斯通过放松独立性假设来改进

from sklearn.naive_bayes import GaussianNB

# 假设有数值型特征
gnb = GaussianNB()
gnb.fit(X_continuous, y)

选择部分强相关特征组成超级特征
使用树增强 (TAN) 等方法建模特征依赖关系

互信息筛选重要词汇
去除停用词和低频词
对文本使用 n -gram 特征

from sklearn.metrics import confusion_matrix, accuracy_score

preds = clf.predict(X_test)
print("准确率:", accuracy_score(y_test, preds))
print("混淆矩阵:\n", confusion_matrix(y_test, preds))

# 与逻辑回归对比
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression(max_iter=1000)
lr.fit(X_train, y_train)
print("LR 准确率:", accuracy_score(y_test, lr.predict(X_test)))