支持向量机实战：超平面与支持向量确定原理及Python实现

1次阅读

没有评论

共计 3089 个字符，预计需要花费 8 分钟才能阅读完成。

在机器学习分类任务中，线性可分的数据集往往能通过简单的线性分类器（如感知机）获得不错的效果。然而，现实世界中的数据往往是非线性可分的，传统线性分类器在这种情况下表现不佳。例如：

当数据分布呈现交叉、环形或更复杂形状时，线性分类器无法找到有效的决策边界
存在噪声点或异常值时，线性模型容易受到干扰
样本类别不平衡时，决策边界会偏向多数类

支持向量机 (SVM) 通过引入核技巧和最大化间隔的概念，有效解决了这些问题。下面我们就深入探讨 SVM 的核心原理和实际应用。

在 n 维空间中，超平面可以表示为：

$$W^TX + b = 0$$

其中：
– $W$ 是法向量，决定超平面的方向
– $b$ 是位移项，决定超平面与原点的距离

SVM 的核心思想是找到使两类样本间隔最大的超平面。间隔 (margin) 的计算公式为：

$$\text{margin} = \frac{2}{||W||}$$

因此，最大化间隔等价于最小化 $||W||$，这可以转化为以下优化问题：

$$\min_{W,b} \frac{1}{2}||W||^2$$
$$\text{s.t.} y_i(W^TX_i + b) \geq 1, \forall i$$

满足 $y_i(W^TX_i + b) = 1$ 的样本点称为支持向量，它们决定了最终的决策边界。在支持向量之外的样本点不会影响模型。

from sklearn import datasets
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split

# 加载示例数据
X, y = datasets.make_classification(n_samples=200, n_features=2, n_redundant=0, 
                                   n_clusters_per_class=1, random_state=42)

# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3, random_state=42)

from sklearn.svm import SVC
from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {'C': [0.1, 1, 10],
    'kernel': ['linear', 'rbf'],
    'gamma': ['scale', 'auto']
}

# 网格搜索
svm = SVC()
grid_search = GridSearchCV(svm, param_grid, cv=5, scoring='f1')
grid_search.fit(X_train, y_train)

# 最佳模型
best_svm = grid_search.best_estimator_

import numpy as np
import matplotlib.pyplot as plt

# 创建网格点
xx, yy = np.meshgrid(np.linspace(-3, 3, 200), np.linspace(-3, 3, 200))
Z = best_svm.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

# 绘制决策边界和支持向量
plt.contourf(xx, yy, Z, levels=[-1, 0, 1], alpha=0.5, colors=['blue', 'gray', 'red'])
plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap=plt.cm.Paired)
plt.scatter(best_svm.support_vectors_[:, 0], best_svm.support_vectors_[:, 1], 
            s=100, facecolors='none', edgecolors='k')
plt.title('SVM 决策边界与支持向量')
plt.show()

SVM 对特征的尺度非常敏感，因为模型优化的目标是最大化间隔，而间隔的计算依赖于特征值的大小。因此：

在使用 SVM 前必须进行特征标准化（如 Z -score 标准化）
不同特征如果量纲差异大，会导致模型偏向数值较大的特征

对于不平衡数据集，可以通过设置 class_weight 参数来调整类别权重：

# 自动平衡类别权重
svm = SVC(class_weight='balanced')

# 手动指定权重
svm = SVC(class_weight={0:1, 1:3})  # 类别 1 的权重是类别 0 的 3 倍

当训练样本量很大时，SVM 的训练会变得非常耗时。可以考虑以下优化方法：

使用线性核而不是 RBF 核
设置较小的缓存大小（cache_size 参数）
使用随机梯度下降的线性 SVM（SGDClassifier(loss=’hinge’)）

from sklearn.metrics import classification_report

# 线性核
linear_svm = SVC(kernel='linear').fit(X_train, y_train)
print("线性核性能：")
print(classification_report(y_test, linear_svm.predict(X_test)))

# RBF 核
rbf_svm = SVC(kernel='rbf').fit(X_train, y_train)
print("RBF 核性能：")
print(classification_report(y_test, rbf_svm.predict(X_test)))

from sklearn.model_selection import learning_curve
import numpy as np

train_sizes, train_scores, test_scores = learning_curve(best_svm, X_train, y_train, cv=5, scoring='f1')

plt.plot(train_sizes, np.mean(train_scores, axis=1), label='训练分数')
plt.plot(train_sizes, np.mean(test_scores, axis=1), label='验证分数')
plt.xlabel('训练样本数')
plt.ylabel('F1 分数')
plt.legend()
plt.show()

为了更深入理解 SVM 的特性，我建议读者尝试以下挑战：