模式识别与机器学习经典解析：Christopher Bishop《PRML》核心思想与技术实现

1次阅读

共计 2593 个字符，预计需要花费 7 分钟才能阅读完成。

Christopher Bishop 的《模式识别与机器学习》(Pattern Recognition and Machine Learning, PRML) 是机器学习领域的经典教材，尤其在统计学习理论方面具有深远影响。该书系统性地介绍了概率图模型、核方法、贝叶斯推理等核心概念，为现代机器学习奠定了理论基础。PRML 的特色在于：

概率视角的统一框架 ：将模式识别问题转化为概率建模问题
理论与实践结合 ：包含大量算法实现细节和案例研究
层次化知识体系 ：从基础线性模型到复杂概率图模型的渐进式讲解

用于含隐变量的概率模型参数估计，迭代过程分为：

E 步 ：计算似然函数的期望
$$Q(\theta|\theta^{(t)}) = E_{Z|X,\theta^{(t)}}[\log p(X,Z|\theta)]$$
M 步 ：最大化 Q 函数更新参数
$$\theta^{(t+1)} = \arg\max_\theta Q(\theta|\theta^{(t)})$$

通过核函数 $k(x,x’)$ 将线性模型扩展到非线性空间，关键方程为：
$$f(x) = \sum_{i=1}^N \alpha_i k(x,x_i)$$
常用核函数包括高斯核 (RBF)：
$$k(x,x’) = \exp(-\frac{|x-x’|^2}{2\sigma^2})$$

有向无环图表示变量间的条件依赖关系，联合概率分解为：
$$p(X) = \prod_{i=1}^D p(x_i|\text{pa}_i)$$
其中 $\text{pa}_i$ 表示节点 $i$ 的父节点集合。

import numpy as np
from scipy.stats import multivariate_normal

def gmm_em(X, n_components, max_iter=100, tol=1e-6):
    """
    高斯混合模型 EM 算法实现

    参数:
        X : ndarray (n_samples, n_features)
        n_components : int 高斯成分数量
        max_iter : int 最大迭代次数
        tol : float 收敛阈值

    返回:
        weights : ndarray (n_components,) 混合权重
        means : ndarray (n_components, n_features) 均值向量
        covariances : ndarray (n_components, n_features, n_features) 协方差矩阵
    """
    n_samples, n_features = X.shape

    # 初始化参数
    weights = np.ones(n_components) / n_components
    means = X[np.random.choice(n_samples, n_components, replace=False)]
    covariances = [np.eye(n_features) for _ in range(n_components)]

    for _ in range(max_iter):
        # E 步：计算后验概率
        responsibilities = np.zeros((n_samples, n_components))
        for k in range(n_components):
            responsibilities[:, k] = weights[k] * \
                multivariate_normal.pdf(X, means[k], covariances[k])
        responsibilities /= responsibilities.sum(axis=1, keepdims=True)

        # M 步：更新参数
        Nk = responsibilities.sum(axis=0)
        weights = Nk / n_samples
        means = np.dot(responsibilities.T, X) / Nk[:, None]

        for k in range(n_components):
            diff = X - means[k]
            covariances[k] = (responsibilities[:, k, None, None] * \
                             np.einsum('ij,ik->ijk', diff, diff)).sum(axis=0) / Nk[k]

    return weights, means, covariances

graph TD
    A[数据类型?] -->| 连续 | B[线性关系?]
    A -->| 离散 | C[序列依赖?]
    B -->| 是 | D[线性回归 / 判别分析]
    B -->| 否 | E[核方法 / 神经网络]
    C -->| 是 | F[HMM/RNN]
    C -->| 否 | G[贝叶斯网络 / 决策树]