贝叶斯学派与频率学派之争：从理论到朴素贝叶斯分类器实践

1次阅读

共计 1715 个字符，预计需要花费 5 分钟才能阅读完成。

假设我们正在进行 A / B 测试，比较两种网页设计的效果差异。频率学派会计算 p 值，判断差异是否显著；而贝叶斯学派则会计算后验概率，给出每种设计更优的概率。例如，频率学派可能得出结论 ”p=0.03，拒绝原假设 ”，而贝叶斯学派可能得出 ” 设计 A 有 78% 的概率优于设计 B ”。

频率学派的核心是最大似然估计 (MLE)：

$$\hat{\theta}{MLE} = \arg\max P(X|\theta)$$

假设检验中，p 值的定义为：

$$p = P(观察到的或更极端的数据 |H_0 为真)$$

贝叶斯方法基于后验分布：

$$P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(X)}$$

先验选择常见的有：

共轭先验（计算方便）
无信息先验（如均匀分布）
层次先验（超参数也有分布）

from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import TfidfVectorizer

# TF-IDF 特征提取
tfidf = TfidfVectorizer()
X_train = tfidf.fit_transform(train_texts)

# 带拉普拉斯平滑的朴素贝叶斯
model = MultinomialNB(alpha=1.0)  # alpha= 1 为加 1 平滑
model.fit(X_train, y_train)

import numpy as np

class NaiveBayes:
    def __init__(self, alpha=1.0):
        self.alpha = alpha  # 平滑参数

    def fit(self, X, y):
        # 计算先验概率
        self.classes, counts = np.unique(y, return_counts=True)
        self.priors = (counts + self.alpha) / (len(y) + len(self.classes)*self.alpha)

        # 计算条件概率
        self.cond_probs = []
        for c in self.classes:
            X_c = X[y==c]
            total = X_c.sum(axis=0) + self.alpha
            self.cond_probs.append(total / (total.sum() + X.shape[1]*self.alpha))

    def predict(self, X):
        # 计算后验概率
        posteriors = []
        for c, prior in enumerate(self.priors):
            log_prob = np.log(prior) + (X * np.log(self.cond_probs[c])).sum(axis=1)
            posteriors.append(log_prob)
        return self.classes[np.argmax(posteriors, axis=0)]

TAN(Tree-Augmented Naive Bayes) 放宽了特征独立假设，允许特征间存在树状依赖关系。实现步骤：