深入解析支持向量机(SVM)中核函数的作用与核心思想：从数学原理到实践应用

1次阅读

没有评论

共计 2069 个字符，预计需要花费 6 分钟才能阅读完成。

很多机器学习初学者第一次接触分类算法时，都会从最简单的线性分类器开始。比如用一条直线把二维平面上的红蓝点分开，这看起来很直观。但当数据变成下面这样时，问题就来了：

数据点在二维平面上呈现环形分布（比如 make_moons 生成的数据）
不同类别数据点交错嵌套在一起
肉眼观察都无法用直线划分

这时候如果强行用线性分类器，效果会非常差。这就是线性模型的根本局限——它只能处理线性可分的数据。而真实世界的数据，往往都是非线性的。

支持向量机 (SVM) 解决这个问题的思路很巧妙：既然在低维空间无法线性分割，那就把数据映射到高维空间试试。核函数 (kernel function) 就是这个映射过程的秘密武器。

举个通俗的例子：在地面上有两团无法用直线分开的蚂蚁群（二维数据），如果突然让蚂蚁们飞到空中（三维空间），可能只需要一张纸就能把它们隔开。核函数的作用，就是帮我们找到这个「飞起来」的变换方式。

数学上，这个变换可以表示为：

$$\phi(x): \mathbb{R}^n \rightarrow \mathbb{R}^m \quad (m > n)$$

其中 $\phi$ 就是我们的映射函数。

直接计算高维空间的内积 $\langle \phi(x_i), \phi(x_j) \rangle$ 计算量会很大。核函数 $K(x_i, x_j)$ 的神奇之处在于，它能在原始空间直接计算出这个内积结果：

$$K(x_i, x_j) = \langle \phi(x_i), \phi(x_j) \rangle$$

这样我们就不需要显式计算高维映射了。

实际应用中最常用的三种核函数：

线性核：就是不做映射
$$K(x_i, x_j) = x_i^T x_j$$
多项式核：适合正交分布的数据
$$K(x_i, x_j) = (\gamma x_i^T x_j + r)^d$$
RBF 核（高斯核）：最强大的万能核
$$K(x_i, x_j) = \exp(-\gamma ||x_i – x_j||^2)$$

下面我们用 Python 的 scikit-learn 来实际感受不同核函数的效果差异：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.datasets import make_moons

# 生成非线性数据
X, y = make_moons(n_samples=100, noise=0.15, random_state=42)

# 定义不同核函数的 SVM 模型
kernels = ['linear', 'poly', 'rbf']
models = [svm.SVC(kernel=k, gamma=2) for k in kernels]

# 训练并可视化
plt.figure(figsize=(15,5))
for i, model in enumerate(models):
    model.fit(X, y)

    # 绘制决策边界
    plt.subplot(1,3,i+1)
    xx, yy = np.meshgrid(np.linspace(-1.5,2.5,200), np.linspace(-1,1.5,200))
    Z = model.predict(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape)
    plt.contourf(xx, yy, Z, alpha=0.3)
    plt.scatter(X[:,0], X[:,1], c=y, edgecolors='k')
    plt.title(f'Kernel: {kernels[i]}')

plt.tight_layout()
plt.show()

从运行结果可以明显看出：
1. 线性核完全无法处理这种环形数据
2. 多项式核（degree=3）勉强能分开但边界不自然
3. RBF 核完美地找到了合理的分类边界