SVM 支持向量机 (Support Vector Machine)

一句话理解

SVM 是一个”画线”的分类器——在两类数据之间画一条线(或超平面)，让这条线离两边最近的数据点都尽可能远。这条线不是随便画的，而是找”最大间隔”的那条。

零基础理解

你在操场上要把男生和女生分成两队，在地上画一条线。最简单的画法是”只要能分开就行”。但 SVM 说：不，要把线画在正中间——离最近的那个男生和最远的那个女生一样远。这样新来一个人，即使站得稍微偏了一点，也不会被分错。这就是”最大间隔”的思想。

核心概念

1. 最大间隔 (Maximum Margin)

间隔 (Margin)：分类超平面到最近数据点的距离。

SVM 的目标是最大化这个间隔。为什么？

数学表达：

SVM 优化问题(硬间隔)：

${\min }_{w,b}\frac{1}{2}||w|{|}^2\text{s.t.}{y}_i(w^T{x}_i+b)\ge 1,\forall i$

• $w$ 是超平面的法向量
• $b$ 是偏置项
• 约束条件 $y_i(w^T{x}_i+b)\ge 1$ 确保所有样本被正确分类且至少在间隔边界外

2. 支持向量 (Support Vectors)

定义：离分类超平面最近的那些数据点，即”刚好在间隔边界上”的点。

      ○
    ○   ○         ●  支持向量
  ○   ○           ○  非支持向量
───○───○───●───   —  分类超平面
  ●   ●   ●       ⋯  间隔边界
    ●   ●
      ●

支持向量 = 离超平面最近的点 (在间隔边界上)

3. 软间隔 (Soft Margin)

现实数据往往不是完全线性可分的。软间隔允许一些点”犯规”——被分错或在间隔内。

松弛变量 ${\xi }_i$：衡量第 i 个样本”犯规”的程度。

${\min }_{w,b,\xi }\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\xi }_i$

$\text{s.t.}{y}_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0$

4. 核方法 (Kernel Method)

现实数据往往不是线性可分的。核方法把数据映射到高维空间，在那里可能就线性可分了。

核心思想：不显式地做映射，而是通过核函数直接计算高维空间中的内积。

$K(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$

核技巧 (Kernel Trick)：我们不需要知道 $\varphi$ 是什么，只需要知道 $K(x_i,x_j)$ 怎么算。

常见核函数

RBF 核的参数 $\gamma$ 的影响

SVM 的优缺点

优点

缺点

SVM vs 其他分类器

2026 年 SVM 的地位

SVM 在深度学习时代不再是主流，但在以下场景仍有不可替代的价值：

相关笔记

• 深挖-SVM — SVM 的深入推导和实战
• 核方法 (Kernel Method) — 核方法的深入理解(Kernel PCA, MMD 等)
• 第4章 · 机器学习核心算法 — SVM 在经典 ML 算法中的位置
• 过拟合与欠拟合 (Overfitting & Underfitting) — SVM 的 C 参数与过拟合的关系
• 深度学习 (Deep Learning) — 为什么神经网络最终取代了 SVM

来源

• Cortes & Vapnik, “Support-Vector Networks” (1995) — https://link.springer.com/article/10.1007/BF00994018
• Boser, Guyon & Vapnik, “A Training Algorithm for Optimal Margin Classifiers” (1992, 核方法引入 SVM) — https://dl.acm.org/doi/10.1145/130385.130401
• Bishop, “Pattern Recognition and Machine Learning”, Chapter 7 — https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/
• Hastie et al., “The Elements of Statistical Learning”, Chapter 12 — https://hastie.su.domains/ElemStatLearn/
• Andrew Ng, “CS229 Lecture Notes: Support Vector Machines” — https://cs229.stanford.edu/notes2020fall/notes2020fall/cs229-notes3.pdf