支持向量机(SVM)原理详解与实战：从线性可分到核技巧

1次阅读

没有评论

共计 1813 个字符，预计需要花费 5 分钟才能阅读完成。

支持向量机的核心思想是寻找一个最优超平面，使得两类样本点到该超平面的最小距离（即间隔）最大化。数学上可以表示为：

$$
\max_{w,b} \frac{1}{||w||} \min_i y_i(w^Tx_i + b)
$$

其中 $w$ 是法向量，$b$ 是偏置项。通过拉格朗日对偶转换，最终转化为凸二次规划问题。

硬间隔 SVM：要求所有样本严格分类正确
$$
\min \frac{1}{2}||w||^2 \quad s.t. \quad y_i(w^Tx_i + b) \geq 1
$$
软间隔 SVM：引入松弛变量 $\xi$ 处理噪声数据
$$
\min \frac{1}{2}||w||^2 + C\sum \xi_i \quad s.t. \quad y_i(w^Tx_i + b) \geq 1-\xi_i
$$
惩罚系数 $C$ 控制分类错误容忍度

对于非线性可分数据，通过核函数 $K(x_i,x_j)=\phi(x_i)^T\phi(x_j)$ 将数据映射到高维空间。常见核函数：

线性核：$K(x_i,x_j)=x_i^Tx_j$
多项式核：$K(x_i,x_j)=(\gamma x_i^Tx_j + r)^d$
RBF 核：$K(x_i,x_j)=\exp(-\gamma ||x_i-x_j||^2)$

特性	SVM	逻辑回归	决策树
类别不平衡	可通过 class_weight 调整	需采样处理	天然适应
高维特征	核方法表现优异	易过拟合	选择特征困难
解释性	中等（支持向量）	参数可解释	直观易理解
训练速度	大数据时较慢	快	快

from sklearn import svm, datasets
from sklearn.model_selection import GridSearchCV

# 加载数据
iris = datasets.load_iris()
X, y = iris.data, iris.target

# 网格搜索调参
parameters = {'kernel':('linear', 'rbf'), 'C':[0.1, 1, 10]}
svc = svm.SVC()
clf = GridSearchCV(svc, parameters)
clf.fit(X, y)

print("最佳参数:", clf.best_params_)

import numpy as np

def smo_simple(data, labels, C, tol, max_iter):
    """
    简化版 SMO 算法
    :param C: 惩罚系数
    :param tol: 容忍度
    :param max_iter: 最大迭代次数
    """
    X = np.array(data)
    y = np.array(labels).reshape(-1,1)
    m, n = X.shape

    # 初始化参数
    alphas = np.zeros((m,1))
    b = 0

    # 向量化计算核矩阵（这里用线性核）K = np.dot(X, X.T)

    for iter in range(max_iter):
        # 选择违反 KKT 条件最严重的样本
        # ... 省略具体实现

        # 更新 alpha_i, alpha_j
        # ... 省略计算过程

        # 更新截距 b
        # ... 省略计算过程

    return alphas, b