线性支持向量机(SVM)实战：两类可分数据分类问题解析与Python实现

1次阅读

共计 1920 个字符，预计需要花费 5 分钟才能阅读完成。

线性可分数据是指存在至少一个超平面能够完美分隔两类样本的数据集。在实际应用中，这类数据常见于简单但具有明确分界线的分类场景，如文本分类中的垃圾邮件识别、医学图像中的病灶检测等。支持向量机 (SVM) 因其最大化间隔的独特优化目标，在小样本、高维度数据分类中表现出色。

支持向量机的核心思想是寻找一个最优分离超平面，使得两类数据点之间的间隔最大化。这个最优超平面可以表示为：

w^T x + b = 0

其中 w 是法向量，b 是位移项。支持向量是距离超平面最近的样本点，它们决定了最终的决策边界。

首先我们需要生成一些线性可分的示例数据：

from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

# 生成线性可分数据
X, y = make_blobs(n_samples=50, centers=2, random_state=42, cluster_std=0.6)

# 可视化数据
plt.scatter(X[:, 0], X[:, 1], c=y, cmap='winter')
plt.title('Linearly Separable Data')
plt.show()

使用 scikit-learn 的 SVC 类实现线性 SVM：

from sklearn.svm import SVC

# 创建线性 SVM 分类器
model = SVC(kernel='linear', C=1.0)

# 训练模型
model.fit(X, y)

绘制决策边界和支持向量：

def plot_svc_decision_function(model, ax=None):
    """绘制 SVM 决策边界"""
    if ax is None:
        ax = plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()

    # 创建网格
    xx = np.linspace(xlim[0], xlim[1], 30)
    yy = np.linspace(ylim[0], ylim[1], 30)
    YY, XX = np.meshgrid(yy, xx)
    xy = np.vstack([XX.ravel(), YY.ravel()]).T
    Z = model.decision_function(xy).reshape(XX.shape)

    # 绘制决策边界和间隔
    ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], 
               alpha=0.5, linestyles=['--', '-', '--'])

    # 标记支持向量
    ax.scatter(model.support_vectors_[:, 0], 
               model.support_vectors_[:, 1], 
               s=100, linewidth=1, facecolors='none', edgecolors='k')
    ax.set_xlim(xlim)
    ax.set_ylim(ylim)

plt.scatter(X[:, 0], X[:, 1], c=y, cmap='winter')
plot_svc_decision_function(model)
plt.title('SVM Decision Boundary with Support Vectors')
plt.show()

SVM 中最重要的参数是 C，它控制对误分类的惩罚程度：

较小的 C 值：允许更多误分类，得到更大间隔但可能欠拟合
较大的 C 值：严格惩罚误分类，可能过拟合

建议使用网格搜索寻找最佳 C 值：

from sklearn.model_selection import GridSearchCV

param_grid = {'C': [0.1, 1, 10, 100]}
grid = GridSearchCV(SVC(kernel='linear'), param_grid, cv=5)
grid.fit(X, y)

print(f"Best C parameter: {grid.best_params_}")