AI大模型面试必备：朴素贝叶斯核心概念解析与实战避坑指南

1次阅读

没有评论

共计 2557 个字符，预计需要花费 7 分钟才能阅读完成。

在 GPT- 4 横行的时代，你可能好奇为什么面试官还在问这个诞生于 1960 年代的算法。原因很简单：

工业界基石地位 ：全球 70% 的垃圾邮件过滤器仍在使用朴素贝叶斯，如 Gmail 的早期过滤系统
计算效率之王 ：处理百万级文本数据时，训练速度比神经网络快 100 倍以上
理解概率模型的试金石 ：能清晰考察候选人对贝叶斯理论的理解深度

$$ P(y|x_1,…,x_n) = \frac{P(y)\prod_{i=1}^n P(x_i|y)}{P(x_1,…,x_n)} $$

这个看似简单的公式藏着两个关键假设：

条件独立性 ：所有特征 $x_i$ 在给定 y 时相互独立
同等重要性 ：每个特征对结果的贡献权重相同

graph LR
    Y-->X1
    Y-->X2
    Y-->X3

这种『星型结构』直观展现了特征间的独立性假设——所有特征只与类别变量 Y 直接相连，彼此之间没有箭头连接。

import numpy as np

class NaiveBayes:
    def __init__(self, alpha=1.0):  # 拉普拉斯平滑系数
        self.alpha = alpha

    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.classes = np.unique(y)
        n_classes = len(self.classes)

        # 计算先验概率 P(y)
        self.priors = np.zeros(n_classes)
        for idx, c in enumerate(self.classes):
            self.priors[idx] = np.sum(y == c) / n_samples

        # 计算条件概率 P(x_i|y)
        self.likelihoods = []
        for idx, c in enumerate(self.classes):
            X_c = X[y == c]
            # 加入拉普拉斯平滑
            counts = np.sum(X_c, axis=0) + self.alpha
            total = np.sum(counts) + self.alpha * n_features
            self.likelihoods.append(counts / total)

    def predict(self, X):
        posteriors = []
        for x in X:
            class_probs = []
            for idx, c in enumerate(self.classes):
                # 对数空间计算防止下溢
                log_prior = np.log(self.priors[idx])
                log_likelihood = np.sum(np.log(self.likelihoods[idx][x > 0]))
                class_probs.append(log_prior + log_likelihood)
            posteriors.append(self.classes[np.argmax(class_probs)])
        return np.array(posteriors)

from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import TfidfVectorizer

# 特征工程更完备
vectorizer = TfidfVectorizer(stop_words='english', max_features=5000)
X_train = vectorizer.fit_transform(train_texts)

# 自带平滑和并行计算
clf = MultinomialNB(alpha=0.1)
clf.fit(X_train, y_train)

关键差异点：

scikit-learn 自动处理稀疏矩阵
提供增量学习 (partial_fit)
集成 TF-IDF 等高级文本特征

当遇到房价预测这类连续特征时，需要切换到高斯朴素贝叶斯：

from sklearn.naive_bayes import GaussianNB

# 自动计算均值和方差
model = GaussianNB()
model.fit(X_continuous, y)

数学本质是假设：

$$ P(x_i|y) = \frac{1}{\sqrt{2\pi\sigma_y^2}} \exp\left(-\frac{(x_i – \mu_y)^2}{2\sigma_y^2}\right) $$

当测试集出现训练集未见的词汇时：

基础方案：拉普拉斯平滑（代码中 alpha 参数）
进阶方案：回退到字符级别的 n -gram
终极方案：使用 Word2Vec 等嵌入表示替代 one-hot

违反独立性假设时的应对策略：

特征选择：用互信息筛选 top- k 特征
特征组合：人工构造交叉特征
模型切换：改用半朴素贝叶斯（如 TAN）

# 通过类别权重调整
model = MultinomialNB(class_prior=[0.1, 0.9])  # 人工指定先验

# 或者用样本加权
sample_weight = compute_sample_weight('balanced', y)
model.fit(X, y, sample_weight=sample_weight)

A：这里的 naive 直译为『天真』，指特征条件独立这一强假设。就像天真的孩子认为所有事情都互不相关。

关键步骤：