线性支持向量机(SVM)实战：两类可分数据的分类原理与Python实现

1次阅读

共计 1747 个字符，预计需要花费 5 分钟才能阅读完成。

线性可分数据是指可以通过一条直线（二维空间）或超平面（高维空间）将不同类别的数据完美分开的数据集。在实际应用中，这类问题非常常见，比如简单的垃圾邮件分类、手写数字识别等。支持向量机（SVM）特别适合处理这类问题，因为它的核心思想就是寻找一个最优的分类边界，使得两个类别之间的间隔最大化。

SVM 的核心思想是最大化分类间隔。想象一下，我们有两类数据点，用一条直线将它们分开。SVM 的目标是找到这样一条直线，使得离这条直线最近的数据点（即支持向量）到直线的距离最大化。这个距离被称为“间隔”，而这条直线就是我们的决策边界。

支持向量：离决策边界最近的那些数据点，它们决定了边界的位置。
间隔：支持向量到决策边界的距离，SVM 的目标是最大化这个间隔。
决策边界：最终用于分类的直线或超平面。

下面我们通过一个简单的例子，演示如何使用 Python 的 scikit-learn 库实现线性 SVM 分类。

# 导入必要的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

# 准备数据
X = np.array([[1, 1], [2, 2], [2, 0], [0, 0], [1, 0], [0, 1]])  # 特征
Y = np.array([1, 1, 1, -1, -1, -1])  # 标签

# 创建 SVM 模型
clf = svm.SVC(kernel='linear', C=1.0)
clf.fit(X, Y)

# 可视化结果
plt.scatter(X[:, 0], X[:, 1], c=Y, cmap=plt.cm.Paired)
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()

# 创建网格来评估模型
xx = np.linspace(xlim[0], xlim[1], 30)
yy = np.linspace(ylim[0], ylim[1], 30)
YY, XX = np.meshgrid(yy, xx)
xy = np.vstack([XX.ravel(), YY.ravel()]).T
Z = clf.decision_function(xy).reshape(XX.shape)

# 绘制决策边界和间隔
ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5,
           linestyles=['--', '-', '--'])
# 绘制支持向量
ax.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=100,
           linewidth=1, facecolors='none', edgecolors='k')
plt.show()

SVM 的一个重要参数是 C，它控制分类器的“严格程度”。较小的 C 值允许更多的数据点跨越间隔边界，而较大的 C 值则更严格，要求所有数据点都正确分类。

C 值的选择：
较小的 C 值：模型更宽松，可能容忍一些分类错误，适用于噪声较多的数据。
较大的 C 值：模型更严格，适用于数据较为干净的情况。
网格搜索：使用 GridSearchCV 可以自动寻找最优的 C 值。

from sklearn.model_selection import GridSearchCV

parameters = {'C': [0.1, 1, 10, 100]}
clf = GridSearchCV(svm.SVC(kernel='linear'), parameters)
clf.fit(X, Y)
print("最佳参数：", clf.best_params_)