支持向量机(SVM)实战：从数学原理到Python实现

1次阅读

没有评论

共计 2404 个字符，预计需要花费 7 分钟才能阅读完成。

支持向量机的本质是寻找一个最优超平面，使得两类样本之间的间隔最大化。我们从几何角度来理解这个关键概念。

给定训练数据集 $D={(x_1,y_1),(x_2,y_2),…,(x_n,y_n)}$，其中 $y_i \in {-1,1}$，超平面可以表示为：

$$w^Tx + b = 0$$

其中 $w$ 是法向量，决定超平面的方向；$b$ 是位移项，决定超平面与原点的距离。样本空间任意点 $x$ 到超平面的距离为：

$$r = \frac{|w^Tx + b|}{|w|}$$

对于线性可分情况，硬间隔 SVM 的优化目标是：

$$\min_{w,b} \frac{1}{2}|w|^2$$

$$\text{s.t.} y_i(w^Tx_i + b) \geq 1, i=1,2,…,n$$

这是一个凸二次规划问题，可以通过拉格朗日乘子法求解。构造拉格朗日函数：

$$L(w,b,\alpha) = \frac{1}{2}|w|^2 + \sum_{i=1}^n \alpha_i[1-y_i(w^Tx_i + b)]$$

当数据存在噪声或轻微线性不可分时，引入松弛变量 $\xi_i$，优化目标变为：

$$\min_{w,b,\xi} \frac{1}{2}|w|^2 + C\sum_{i=1}^n \xi_i$$

$$\text{s.t.} y_i(w^Tx_i + b) \geq 1-\xi_i, \xi_i \geq 0$$

其中 $C>0$ 是惩罚参数，控制对误分类的惩罚程度。

线性核：$K(x_i,x_j) = x_i^Tx_j$
适用场景：特征数量多、样本量大、数据近似线性可分
优点：计算效率高，参数少不易过拟合
RBF 核：$K(x_i,x_j) = \exp(-\gamma|x_i-x_j|^2)$
适用场景：非线性可分数据、特征数量不多
优点：强大非线性表达能力
注意：需要谨慎选择 $\gamma$ 参数
多项式核：$K(x_i,x_j) = (\gamma x_i^Tx_j + r)^d$
适用场景：特征之间存在交互关系
优点：可控制多项式阶数

优先尝试 RBF 核，因其适用性最广
数据量很大 (>10 万样本) 时考虑线性核
对计算性能要求高时用线性核
了解数据特性时可根据领域知识选择

# 数据标准化
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 模型训练
from sklearn.svm import SVC
model = SVC(kernel='rbf', C=1.0, gamma='scale')
model.fit(X_train, y_train)

# 模型评估
from sklearn.metrics import classification_report
print(classification_report(y_test, model.predict(X_test)))

from sklearn.model_selection import GridSearchCV

param_grid = {'C': [0.1, 1, 10, 100],
    'gamma': [0.01, 0.1, 1, 'scale', 'auto'],
    'kernel': ['rbf', 'linear']
}

grid = GridSearchCV(SVC(), param_grid, refit=True, cv=5)
grid.fit(X_train, y_train)

print(f"最佳参数：{grid.best_params_}")

import matplotlib.pyplot as plt
from mlxtend.plotting import plot_decision_regions

# 只选取两个特征进行可视化
X_2d = X_scaled[:, [0, 1]]
model_2d = SVC(kernel='rbf', C=1)
model_2d.fit(X_2d, y)

plt.figure(figsize=(8,6))
plot_decision_regions(X_2d, y, clf=model_2d)
plt.title('SVM Decision Boundary')
plt.show()

对于大数据集：