线性支持向量机(SVM)实战：两类可分数据分类原理与Python实现

1次阅读

共计 1903 个字符，预计需要花费 5 分钟才能阅读完成。

支持向量机 (SVM) 是机器学习中经典的监督学习算法，特别适合解决中小规模数据集的分类问题。它在文本分类、图像识别等领域表现优异，最大特点是能够找到将两类数据分开的最优决策边界。对于线性可分的数据，SVM 会寻找一个最大化类别间隔的线性超平面，这正是它被称为 ” 最大间隔分类器 ” 的原因。

想象我们在平面上有两类完全分离的点，SVM 的核心思想就是找到一条直线，使得这条直线距离两类点中最近的样本点（即支持向量）的距离最大。这个距离被称为 ” 间隔 ”，而最优的超平面就是使这个间隔最大的那条直线。

关键点在于：

只有少数几个样本点（支持向量）真正决定这个间隔
其他远离分界线的样本点不会影响模型
通过优化算法找到使间隔最大的权重参数

首先确保安装了必要的库：

# 导入所需库
import numpy as np
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler

创建文中提到的线性可分数据：

# 创建两类线性可分数据
X = np.array([[1, 1], [2, 2], [2, 0], [0, 2],  # 类别 +1
              [4, 4], [5, 5], [5, 3], [3, 5]]) # 类别 -1
y = np.array([1, 1, 1, 1, -1, -1, -1, -1])

虽然这里的示例数据已经很好区分，但标准化是良好实践：

# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

使用线性核的 SVC：

# 创建并训练 SVM 分类器
clf = SVC(kernel='linear', C=1.0)
clf.fit(X_scaled, y)

绘制决策边界和支持向量：

# 绘制决策边界函数
def plot_decision_boundary(clf, X, y):
    # 创建网格点
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                         np.arange(y_min, y_max, 0.02))

    # 预测网格点类别
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)

    # 绘制结果
    plt.contourf(xx, yy, Z, alpha=0.3)
    plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k')

    # 标记支持向量
    plt.scatter(clf.support_vectors_[:, 0], 
                clf.support_vectors_[:, 1], 
                s=100, facecolors='none', edgecolors='k')
    plt.title('SVM 决策边界与支持向量')
    plt.xlabel('特征 1')
    plt.ylabel('特征 2')
    plt.show()

# 调用绘图函数
plot_decision_boundary(clf, X_scaled, y)

C 参数是 SVM 最重要的超参数之一，它控制着分类器的严格程度：