支持向量机实战：从二分类问题到最优决策边界选择

1次阅读

共计 1578 个字符，预计需要花费 4 分钟才能阅读完成。

二分类问题指将数据样本划分到两个互斥类别的任务，形式化为寻找函数 $f(x): \mathbb{R}^n \rightarrow {-1,1}$。支持向量机 (Support Vector Machine, SVM) 通过构造最优超平面实现分类，其核心优势在于最大化决策边界的泛化能力。

观察以下两种分割方案：

普通分割线：仅保证训练数据正确分类
最优分割线：同时最大化边界间隔(margin)

数学上，最优超平面满足：
$$\min_{w,b} \frac{1}{2}|w|^2 \quad \text{s.t.} \quad y_i(w^Tx_i + b) \geq 1, \forall i$$

方法	决策边界	异常值敏感度	概率输出
逻辑回归	线性	高	有
决策树	轴平行	低	无
SVM	最大间隔	中等	无

线性核：特征数 > 样本数时首选
RBF 核：默认选择，需调参 $\gamma$
多项式核：特定领域先验知识

import cvxopt  # 凸优化求解器

def svm_fit(X, y):
    n_samples = X.shape[0]
    # 构造 QP 问题参数
    P = np.outer(y, y) * np.dot(X, X.T)
    q = -np.ones(n_samples)
    G = -np.eye(n_samples)
    h = np.zeros(n_samples)
    A = y.reshape(1, -1)
    b = 0.0

    # 调用求解器
    solution = cvxopt.solvers.qp(cvxopt.matrix(P), cvxopt.matrix(q),
        cvxopt.matrix(G), cvxopt.matrix(h),
        cvxopt.matrix(A), cvxopt.matrix(b)
    )
    return np.ravel(solution['x'])

from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline

# 构建标准化 +SVM 管道
model = make_pipeline(StandardScaler(),
    SVC(C=1.0, kernel='rbf', gamma='scale', 
        class_weight='balanced')
)

# 交叉验证评估
from sklearn.model_selection import cross_val_score
scores = cross_val_score(model, X, y, cv=5, n_jobs=-1)
print(f"Mean Accuracy: {scores.mean():.3f}")

在 MNIST 数据集上测试结果：