支持向量机(SVM)中核函数的核心思想与实战应用解析

1次阅读

没有评论

共计 2579 个字符，预计需要花费 7 分钟才能阅读完成。

支持向量机 (SVM) 作为经典的监督学习算法，以其出色的分类性能和泛化能力闻名。它的核心优势在于：

通过间隔最大化原则构建决策边界，提高模型鲁棒性
利用核技巧处理非线性可分问题，突破线性分类器的限制
依赖支持向量而非全部数据，内存效率更高

而核函数正是实现这些优势的关键，它通过隐式地将数据映射到高维空间，使得原本线性不可分的数据变得可分。这种思想就像把一张揉皱的纸展开，让纠缠的类别自然分离。

核函数的数学本质是计算两个向量在特征空间的内积：
$$ K(x_i, x_j) = \phi(x_i)^T \phi(x_j) $$

其中 $\phi$ 是将数据从原始空间映射到高维特征空间的函数。通过核技巧，我们无需显式计算 $\phi(x)$，直接通过核函数得到结果。常用的核函数包括：

线性核：$K(x_i, x_j) = x_i^T x_j$
适用于线性可分场景，计算效率最高
多项式核：$K(x_i, x_j) = (\gamma x_i^T x_j + r)^d$
通过阶数 d 控制复杂度，适合有序特征
RBF 核：$K(x_i, x_j) = exp(-\gamma ||x_i – x_j||^2)$
最常用的非线性核，通过 γ 控制局部影响范围
Sigmoid 核：$K(x_i, x_j) = tanh(\gamma x_i^T x_j + r)$
表现类似神经网络，但容易导致非正定矩阵

RBF 核中的 γ 参数至关重要：

γ 值较大时：决策边界更复杂，可能过拟合
γ 值较小时：决策边界更平滑，可能欠拟合

通过网格搜索寻找最佳 γ 值时，建议采用对数尺度（如 0.001, 0.01, 0.1, 1, 10）。

from sklearn import svm, datasets
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 加载鸢尾花数据集
iris = datasets.load_iris()
X, y = iris.data[:, :2], iris.target  # 只使用前两个特征方便可视化

# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3)

# 创建不同核函数的 SVM 模型
models = {'Linear': svm.SVC(kernel='linear', C=1),
    'RBF': svm.SVC(kernel='rbf', gamma=0.7, C=1),
    'Poly': svm.SVC(kernel='poly', degree=3, C=1)
}

# 训练并评估模型
for name, model in models.items():
    model.fit(X_train, y_train)
    y_pred = model.predict(X_test)
    print(f"{name} Kernel Performance:")
    print(classification_report(y_test, y_pred))

import matplotlib.pyplot as plt
import numpy as np

# 创建网格点用于绘制决策边界
def plot_decision_boundary(model, X, y):
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                         np.arange(y_min, y_max, 0.02))

    Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)

    plt.contourf(xx, yy, Z, alpha=0.4)
    plt.scatter(X[:, 0], X[:, 1], c=y, s=20, edgecolor='k')
    plt.title(f"Decision Boundary ({name} Kernel)")
    plt.show()

# 为每个模型绘制决策边界
for name, model in models.items():
    plot_decision_boundary(model, X_scaled, y)

当类别分布不均匀时：

使用 class_weight 参数调整类别权重
对少数类进行过采样(SMOTE)
对多数类进行欠采样

大数据集优先选择线性核
使用缓存大小 (cache_size) 参数加速计算
考虑近似算法如 Nystroem 方法

推荐使用网格搜索结合交叉验证：

from sklearn.model_selection import GridSearchCV

param_grid = {'C': [0.1, 1, 10, 100],
    'gamma': [1, 0.1, 0.01, 0.001],
    'kernel': ['rbf', 'poly', 'sigmoid']
}

grid = GridSearchCV(svm.SVC(), param_grid, refit=True, verbose=2)
grid.fit(X_train, y_train)
print(f"Best parameters: {grid.best_params_}")