模式识别与机器学习入门实战：解析陈翔2025版PDF核心算法与代码实现

1次阅读

共计 1825 个字符，预计需要花费 5 分钟才能阅读完成。

陈翔教授的《模式识别与机器学习》一直是机器学习领域的经典教材，2025 版在原有基础上增加了深度学习等前沿内容。对于初学者来说，这本书的数学推导和算法实现可能有一定难度。本文将通过解析书中的核心算法，配合 Python 代码实现，帮助读者更好地理解和应用这些知识。

SVM 是一种经典的分类算法，其核心思想是找到一个最优超平面，使得不同类别的数据点之间的间隔最大化。数学上，这可以转化为一个凸优化问题：

$$
\min_{w,b} \frac{1}{2}||w||^2 \quad \text{s.t.} \quad y_i(w^Tx_i + b) \geq 1, \forall i
$$

神经网络通过模拟人脑神经元的工作方式来处理信息。一个简单的全连接层可以表示为：

$$
z = Wx + b \
a = \sigma(z)
$$

其中 $\sigma$ 是激活函数，如 ReLU 或 sigmoid。

import numpy as np
from sklearn import svm
from sklearn.datasets import make_classification

# 生成示例数据
X, y = make_classification(n_samples=100, n_features=2, n_redundant=0, random_state=42)

# 创建 SVM 分类器
clf = svm.SVC(kernel='linear', C=1.0)

# 训练模型
clf.fit(X, y)

# 预测
predictions = clf.predict(X)

# 计算准确率
accuracy = np.mean(predictions == y)
print(f"Accuracy: {accuracy:.2f}")

import numpy as np
from sklearn.datasets import make_classification

# 定义激活函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 生成数据
X, y = make_classification(n_samples=100, n_features=5, random_state=42)

# 初始化参数
W = np.random.randn(5, 1) * 0.01
b = np.zeros((1, 1))

# 前向传播
Z = np.dot(X, W) + b
A = sigmoid(Z)

# 计算损失
loss = -np.mean(y * np.log(A) + (1 - y) * np.log(1 - A))
print(f"Initial loss: {loss:.4f}")

我们在乳腺癌数据集上测试 SVM 的性能：

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 加载数据
data = load_breast_cancer()
X, y = data.data, data.target

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练 SVM
clf = svm.SVC(kernel='linear')
clf.fit(X_train, y_train)

# 评估
print(f"Test accuracy: {clf.score(X_test, y_test):.4f}")