模式识别与机器学习入门：Christopher M. Bishop经典教材解读与实践指南

1次阅读

没有评论

共计 2799 个字符，预计需要花费 7 分钟才能阅读完成。

Christopher M. Bishop 的《模式识别与机器学习》（简称 PRML）被公认为机器学习领域的经典教材，但很多初学者翻开书后会发现：

数学理论密集：从第一章开始就涉及概率论、线性代数、微积分等多领域数学知识，例如贝叶斯定理的推导需要熟悉条件概率和积分变换。
算法实现断层：书中侧重理论推导，但缺乏现代编程框架（如 Python）的具体实现示例，读者容易陷入“看懂数学但写不出代码”的困境。
概念抽象难消化：像核方法（Kernel Methods）、变分推断（Variational Inference）等概念需要结合几何直观和概率视角理解，纯文字描述不易建立直觉。

贝叶斯方法的核心思想可以用一个例子说明：假设你正在猜测一枚硬币是否公平（即正反面概率均为 50%）。

先验（Prior）：在投掷前，你认为硬币公平的概率是 70%（主观假设）。
似然（Likelihood）：连续投掷 3 次都是正面，这个观察结果对公平硬币的可能性很低（因为公平硬币出现这种情况的概率是 0.5³=12.5%）。
后验（Posterior）：结合先验和似然，更新你对硬币公平性的判断（此时会更倾向于认为硬币不公平）。

数学表示为：
$$ P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(X)} $$
其中 $\theta$ 是模型参数，$X$ 是观测数据。

核方法的精髓在于 避免显式计算高维特征。例如，要用二次曲线分类数据时：

常规思路：将原始特征 $(x_1,x_2)$ 映射为 $(x_1,x_2,x_1^2,x_2^2,x_1x_2)$，然后在新空间做线性分类。
核方法技巧：直接定义核函数 $K(\mathbf{x},\mathbf{y}) = (\mathbf{x}^T\mathbf{y} + 1)^2$，其隐含了上述映射，但计算量更低。

节点：随机变量
边：变量间的依赖关系

例如贝叶斯网络中，箭头 $A \rightarrow B$ 表示“A 直接影响 B 的概率”。

import numpy as np
from scipy.stats import multivariate_normal

# 生成数据
np.random.seed(42)
X = np.linspace(0, 1, 50)
y = 2 * X + 1 + np.random.normal(0, 0.2, 50)

# 贝叶斯回归实现
class BayesianLinearRegression:
    def __init__(self, alpha=1., beta=25.):
        self.alpha = alpha  # 权重先验精度
        self.beta = beta    # 噪声精度

    def fit(self, X, y):
        # 计算后验分布参数（PRML 公式 3.50-3.51）X = np.c_[np.ones(len(X)), X]  # 添加偏置项
        S_N_inv = self.alpha * np.eye(2) + self.beta * X.T @ X
        self.S_N = np.linalg.inv(S_N_inv)
        self.m_N = self.beta * self.S_N @ X.T @ y

    def predict(self, X_test):
        X_test = np.c_[np.ones(len(X_test)), X_test]
        y_mean = X_test @ self.m_N
        y_var = 1/self.beta + np.diag(X_test @ self.S_N @ X_test.T)
        return y_mean, np.sqrt(y_var)

# 训练与预测
blr = BayesianLinearRegression()
blr.fit(X, y)
y_pred, y_std = blr.predict(X)

from sklearn.mixture import GaussianMixture
import matplotlib.pyplot as plt

# 生成双月数据
from sklearn.datasets import make_moons
X, _ = make_moons(200, noise=0.05)

# 使用 PRML 第 9 章介绍的 EM 算法实现
gmm = GaussianMixture(n_components=2, covariance_type='full')
gmm.fit(X)

# 可视化决策边界
x_min, x_max = X[:, 0].min() - 0.5, X[:, 0].max() + 0.5
y_min, y_max = X[:, 1].min() - 0.5, X[:, 1].max() + 0.5
xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100),
                     np.linspace(y_min, y_max, 100))
Z = gmm.score_samples(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

plt.contour(xx, yy, Z, levels=10)
plt.scatter(X[:, 0], X[:, 1], s=10)
plt.title('GMM 拟合结果')