核方法 (Kernel Method)

一句话理解

将数据隐式映射到高维空间,在原始空间计算高维内积——在低维空间中分不开的数据,映射到高维空间后可能就分开了,而且我们不需要真的去做这个映射。

零基础理解

想象桌子上有两个交叉的圆环,从上方看它们是重叠的,你无法用一条线分开它们。但如果你把其中一个环提起来(增加维度),在三维空间中它们就分开了。核方法就是做这件事——“提起”数据,在高维空间中分开它们,但通过数学技巧,你不需要真的去”提”。

核心概念: 核技巧 (Kernel Trick)

为什么需要核方法

现实中的数据往往不是线性可分的,例如:

数据分布	线性可分?	解决方案
同心圆 (内圈一类,外圈一类)	否	核方法(映射到高维)
XOR异或分布	否	核方法或多层网络
螺旋分布	否	RBF核
高维稀疏数据	可能	线性核即可

核技巧原理

直接做法(不可行):

设计映射函数 $ϕ (x)$ 将数据映射到高维空间
在高维空间中计算内积 $ϕ (x_{i})^{T} ϕ (x_{j})$
问题: 高维空间可能维度极高甚至无限维,计算不可行

核技巧(聪明做法):

找到一个核函数 $K (x_{i}, x_{j})$ 满足 $K (x_{i}, x_{j}) = ϕ (x_{i})^{T} ϕ (x_{j})$
直接在原始空间计算 $K (x_{i}, x_{j})$ ,无需显式地做映射
结果等价于在高维空间中计算内积

关键在于: 我们只需要内积的结果,不需要高维坐标本身!

数学示例: 多项式核

映射 $ϕ : R^{2} \to R^{3}$ :

ϕ (x_{1}, x_{2}) = (x_{1}^{2}, 2 x_{1} x_{2}, x_{2}^{2})

在原始空间的核函数:

K (x, z) = (x^{T} z)^{2} = (x_{1} z_{1} + x_{2} z_{2})^{2}

验证:

K (x, z) = (x_{1} z_{1} + x_{2} z_{2})^{2} = x_{1}^{2} z_{1}^{2} + 2 x_{1} x_{2} z_{1} z_{2} + x_{2}^{2} z_{2}^{2} = ϕ (x)^{T} ϕ (z)

计算 $(x^{T} z)^{2}$ 只需要 $O (d)$ 时间,而显式计算 $ϕ (x)^{T} ϕ (z)$ 需要 $O (d^{2})$ 。

常用核函数

核函数	公式 $K (x_{i}, x_{j})$	参数	映射空间	特点	适用场景
线性核 (Linear)	$x_{i}^{T} x_{j}$	无	原始空间	最简单,等价于无映射	高维稀疏数据(文本)
多项式核 (Poly)	$(x_{i}^{T} x_{j} + c)^{d}$	$c$ : 常数, $d$ : 阶数	所有 $d$ 阶交互	可控制非线性程度	已知存在多项式关系
RBF/高斯核 (RBF)	$exp (- γ ∥ x_{i} - x_{j} ∥^{2})$	$γ$ : 宽度	无限维!	最常用,局部性	一般非线性问题首选
Sigmoid核	$tanh (α x_{i}^{T} x_{j} + c)$	$α$ , $c$	—	源于神经网络	历史意义,少用
拉普拉斯核	$exp (- γ ∥ x_{i} - x_{j} ∥_{1})$	$γ$	无限维	对异常值更鲁棒	含噪声数据
卡方核 ( $χ^{2}$ )	$\sum_{k} \frac{2 x _{ik} x _{j k}}{x _{ik} + x _{j k}}$	无	—	适合直方图特征	图像分类
字符串核	基于子序列匹配	多个	组合空间	处理变长序列	生物信息学,文本

RBF核的直观理解

K (x, z) = exp (- γ ∥ x - z ∥^{2})

当 $x$ 和 $z$ 很近时, $K \approx 1$ (高相似度)
当 $x$ 和 $z$ 很远时, $K \approx 0$ (低相似度)
$γ$ 控制”近”的定义: $γ$ 越大,核函数越”窄”,影响范围越小

RBF核实际上将数据映射到了无限维空间! 这是通过泰勒展开 $exp (x) = \sum_{n = 0}^{\infty} \frac{x ^{n}}{n !}$ 实现的,展开后包含了所有阶的多项式。

核方法在SVM中的应用

硬间隔SVM的对偶问题

核方法之所以能用于SVM,关键在于SVM的对偶形式只涉及内积:

α max i = 1 \sum n α_{i} - \frac{1}{2} i = 1 \sum n j = 1 \sum n α_{i} α_{j} y_{i} y_{j} x_{i}^{T} x_{j}

将红色部分替换为核函数 $K (x_{i}, x_{j})$ :

α max i = 1 \sum n α_{i} - \frac{1}{2} i = 1 \sum n j = 1 \sum n α_{i} α_{j} y_{i} y_{j} K (x_{i}, x_{j})

这就是核SVM——在不显式知道映射 $ϕ$ 的情况下,实现了非线性分类。

核方法适用条件: Mercer定理

并非任何函数都可以作为核函数。Mercer定理给出了必要条件: 核矩阵 $K_{ij} = K (x_{i}, x_{j})$ 必须是半正定的。

核参数选择指南

核函数	关键参数	参数过大	参数过小	调参建议
RBF	$γ$	过拟合(每个点都是支持向量)	欠拟合(近似线性)	先试 $γ = 1/ d$
Poly	$d$ (阶数)	过拟合,边界复杂	欠拟合,近似线性	通常 $d = 2$ 或 $d = 3$
RBF	$C$ (SVM正则化)	过拟合(硬间隔)	欠拟合(软间隔过大)	对数尺度搜索
Sigmoid	$α$	不稳定	近似线性	少用,RBF通常更好

核方法的思想对深度学习的影响

核方法概念	深度学习对应	联系
特征映射 $ϕ$	隐藏层	都将数据映射到更适合处理的表示空间
核函数 $K$	注意力机制	注意力本质也是计算”相似度”
RBF核	高斯注意力	基于距离的相似度计算
核技巧	随机傅里叶特征	近似无限维核的显式映射
对偶形式	双线性形式	深度学习中也有对偶关系

注意力机制: 一种”可学习的核”

注意力机制中的 $Q K^{T}$ 本质上计算的是Query和Key之间的相似度,这与核函数的作用非常相似:

Attention : sim (Q, K) = Q K^{T}

Kernel : sim (x, z) = K (x, z)

注意力机制可以看作是一种可学习的核函数,其中Query和Key的投影矩阵 $W^{Q}, W^{K}$ 是在训练中学习的。

2026年: 核方法的遗产与新生

领域	核方法的状态
传统SVM	仍是小样本/表格数据的高效选择
核岭回归	小样本回归的可靠基线
核PCA	非线性降维的经典方法
高斯过程	不确定性估计的最佳选择之一
深度核学习	深度学习+核方法,小样本学习新方向
Deep GP	深度高斯过程,层次化不确定性建模
Neural Tangent Kernel (NTK)	连接神经网络和核方法的理论桥梁
注意力机制	继承了核方法”相似度计算”的思想

来源

Scholkopf & Smola, “Learning with Kernels” (2002) — https://mitpress.mit.edu/9780262194754/learning-with-kernels/
Cristianini & Shawe-Taylor, “An Introduction to Support Vector Machines and Other Kernel-based Learning Methods” (2000) — https://doi.org/10.1017/CBO9780511801389
Boser et al., “A Training Algorithm for Optimal Margin Classifiers” (1992) — https://dl.acm.org/doi/10.1145/130385.130401
Jacot et al., “Neural Tangent Kernel: Convergence and Generalization in Neural Networks” (2018) — https://arxiv.org/abs/1806.07572
Wilson et al., “Deep Kernel Learning” (2016) — https://arxiv.org/abs/1511.02222
Rasmussen & Williams, “Gaussian Processes for Machine Learning” (2006) — https://gaussianprocess.org/gpml/