支持向量机实战：超平面与支持向量确定的原理与例题解析

1次阅读

没有评论

共计 1536 个字符，预计需要花费 4 分钟才能阅读完成。

支持向量机（SVM）是一种强大的监督学习算法，常用于分类和回归任务。对于初学者来说，理解超平面和支持向量的概念往往是一个难点。超平面是 SVM 用于划分不同类别的决策边界，而支持向量则是离超平面最近的那些点，它们决定了超平面的位置和方向。

初学者常见的困惑包括：
– 如何从数学上定义超平面？
– 为什么支持向量对模型如此重要？
– 如何在实际问题中确定最优超平面和支持向量？

超平面在二维空间中是一条直线，在三维空间中是一个平面，更高维度则是一个超平面。其数学表达式为：
$$w^T x + b = 0$$
其中，$w$ 是法向量，决定了超平面的方向，$b$ 是偏置项，决定了超平面的位置。

支持向量是离超平面最近的那些点，满足：
$$y_i (w^T x_i + b) = 1$$
这里，$y_i$ 是类别标签（+ 1 或 -1），$x_i$ 是支持向量。

让我们通过一个简单的二维分类问题来演示如何确定最优超平面和支持向量。假设我们有以下数据点：
– 类别 1（红色）：(1, 2), (2, 3), (3, 3)
– 类别 2（蓝色）：(2, 1), (3, 2), (4, 1)

首先，我们需要找到一个超平面（在这里是一条直线），使得两类数据点被完美分开。
然后，我们确定离这条直线最近的点，即支持向量。
最后，我们调整超平面的位置和方向，使得间隔（margin）最大化。

以下是使用 Python 和 scikit-learn 实现 SVM 的代码示例：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

# 定义数据点
X = np.array([[1, 2], [2, 3], [3, 3], [2, 1], [3, 2], [4, 1]])
y = np.array([1, 1, 1, -1, -1, -1])

# 创建 SVM 分类器
clf = svm.SVC(kernel='linear')
clf.fit(X, y)

# 绘制数据点
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired)

# 绘制超平面
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()

# 创建网格以绘制超平面
xx = np.linspace(xlim[0], xlim[1], 30)
yy = np.linspace(ylim[0], ylim[1], 30)
YY, XX = np.meshgrid(yy, xx)
xy = np.vstack([XX.ravel(), YY.ravel()]).T
Z = clf.decision_function(xy).reshape(XX.shape)

# 绘制超平面和边界
ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5,
           linestyles=['--', '-', '--'])

# 标记支持向量
ax.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=100,
           linewidth=1, facecolors='none', edgecolors='k')

plt.show()

支持向量的数量直接影响模型的泛化能力。过多的支持向量可能导致过拟合，而过少的支持向量可能导致欠拟合。我们可以通过调整参数 C 来平衡模型的复杂度和泛化能力。