朴素贝叶斯实战：从头歌案例解析文本分类的工程化实现

1次阅读

共计 1493 个字符，预计需要花费 4 分钟才能阅读完成。

在文本分类任务中，我们经常会遇到两个典型问题：高频词干扰和数据稀疏性。高频词如 ” 的 ”、” 是 ” 等虽然出现频率高，但对分类贡献有限；而数据稀疏性则表现为某些特征词在训练集中出现次数过少，导致模型难以准确估计其概率。另外，传统机器学习模型如 SVM 或神经网络往往缺乏可解释性，难以直观理解模型决策依据，这在需要模型解释的场景中尤为棘手。

朴素贝叶斯算法因其简单高效和良好的可解释性，成为文本分类任务的常用选择。与 SVM 相比，朴素贝叶斯的时间复杂度更低（O(n) vs O(n^2)）；与神经网络相比，它不需要大量数据就能取得不错的效果。条件独立性假设虽然在实际中不完全成立，但在工程实践中显著降低了计算复杂度。

对于文本分类任务，我们选择多项式模型而非伯努利模型，因为前者考虑了词频信息，更适合处理 TF-IDF 等加权特征。其核心公式为：

$$P(c|d) \propto P(c) \prod_{i=1}^{n} P(w_i|c)^{tf(w_i,d)}}$$

def calculate_probability(feature_vector, class_prob, feature_prob, alpha=1):
    """
    计算文档属于某类的概率
    :param feature_vector: 文档特征向量
    :param class_prob: 类别先验概率
    :param feature_prob: 特征条件概率矩阵
    :param alpha: Laplace 平滑系数
    """
    log_prob = np.log(class_prob)
    for i, count in enumerate(feature_vector):
        if count > 0:
            log_prob += count * np.log(feature_prob[i] + alpha)  # Laplace 平滑
    return log_prob

加载停用词表并进行分词
计算 TF-IDF 权重
构建特征词典

from sklearn.feature_extraction.text import TfidfVectorizer

tfidf = TfidfVectorizer(
    tokenizer=jieba.cut,  # 使用结巴分词
    stop_words=stopwords,  # 自定义停用词表
    max_features=5000,    # 限制特征数量
    ngram_range=(1, 2)    # 包含 1 - 2 元语法
)

使用 scipy 的稀疏矩阵存储特征矩阵，可减少 70% 以上的内存占用：

from scipy import sparse

X_train = sparse.csr_matrix(X_train)

为每个预测请求创建独立的模型副本，避免线程竞争：

import copy

class ThreadSafeClassifier:
    def __init__(self, model):
        self.model = model

    def predict(self, X):
        local_model = copy.deepcopy(self.model)
        return local_model.predict(X)