无监督学习 (Unsupervised Learning)

概述

无监督学习（Unsupervised Learning）是机器学习的三大范式之一（另两个为监督学习和强化学习）。与监督学习不同，无监督学习处理的是没有标签的数据，目标是从数据本身发现隐藏的结构、模式或规律。无监督学习更接近人类的学习方式——我们大部分知识是通过观察和归纳获得的，而非被告知标准答案。在 2026 年，随着自监督学习的兴起，无监督学习与自监督学习的边界日益模糊，但核心目标保持不变：从无标签数据中提取价值。

三大范式对比

维度	监督学习	无监督学习	自监督学习	强化学习
数据标签	有明确标签 (x, y)	无标签，只有 x	标签从数据本身构造	奖励信号（稀疏/延迟）
学习目标	学习 x -> y 的映射	发现数据中的结构	学习数据的内部表示	学习最优策略
典型任务	分类、回归	聚类、降维、密度估计	预训练表示学习	游戏、机器人控制
评估难度	相对容易	困难（缺乏 ground truth）	通过下游任务评估	通过累积奖励评估
标注成本	高	零	零	取决于环境
代表模型	逻辑回归、XGBoost、ResNet	K-Means、DBSCAN、AutoEncoder	BERT、GPT、SimCLR	DQN、PPO

无监督学习的主要任务

1. 聚类 (Clustering)

将数据点分成若干组，使得组内相似度高、组间相似度低。

算法	原理	簇形状	需指定簇数	计算复杂度	适用规模
K-Means	最小化簇内平方误差	球形	是	O(nkdi)	大
DBSCAN	基于密度可达性	任意形状	否	O(n log n)	中
层次聚类 (Hierarchical)	自底向上/自顶向下合并分裂	树状结构	否	O(n^2)	小
GMM (高斯混合模型)	假设数据由多个高斯分布生成	椭圆形	是	O(nkdi)	中
谱聚类 (Spectral)	基于图的拉普拉斯矩阵	任意形状	是	O(n^3)	小
HDBSCAN	DBSCAN 的层次化改进	任意形状	否	O(n log n)	大

2. 降维 (Dimensionality Reduction)

将高维数据映射到低维空间，同时保留重要结构信息。

方法	类型	线性/非线性	全局/局部	典型应用
PCA	矩阵分解	线性	全局	数据预处理、去噪
t-SNE	近邻嵌入	非线性	局部	可视化
UMAP	图论	非线性	兼顾	可视化+预处理
AutoEncoder	神经网络	非线性	全局	特征学习、异常检测
SVD	矩阵分解	线性	全局	推荐系统、LSI

3. 密度估计 (Density Estimation)

估计数据的概率分布，用于异常检测和生成建模。

方法	原理	优点	缺点
KDE (核密度估计)	核函数平滑	非参数，灵活	高维灾难
GMM	混合高斯	可解释	假设高斯分布
Normalizing Flow	可逆变换	精确似然	计算量大
VAE	变分推断	生成能力	近似推断
扩散模型	逐步去噪	生成质量极高	采样慢

4. 关联规则学习 (Association Rule Mining)

发现数据项之间的有趣关系，典型应用是购物篮分析。

Apriori：基于频繁项集
FP-Growth：基于 FP 树，效率更高

无监督学习的评估

无监督学习最大的挑战是评估——因为没有标签作为 ground truth。

评估方法	说明	适用任务
轮廓系数 (Silhouette Score)	衡量簇内紧密度和簇间分离度	聚类
Davies-Bouldin Index	簇间相似度的平均	聚类
重构误差	降维后重构原始数据的误差	降维
下游任务性能	用无监督学到的特征做分类/回归	表示学习
人工评估	领域专家判断结果合理性	所有

2026 年趋势

自监督学习崛起：BERT、GPT、CLIP 等自监督预训练模型成为主流，模糊了无监督与监督的边界
大模型的无监督能力：LLM 展现出强大的零样本聚类和异常检测能力
多模态无监督学习：图像、文本、音频的联合无监督对齐
无监督 + 强化学习：通过无监督探索学习环境表示，辅助策略学习

来源

Hastie, Tibshirani & Friedman (2009) - “The Elements of Statistical Learning” Chapters 14-15: https://hastie.su.domains/ElemStatLearn/
Bishop (2006) - “Pattern Recognition and Machine Learning” Chapter 9
McInnes et al. (2018) - “UMAP: Uniform Manifold Approximation and Projection”: https://arxiv.org/abs/1802.03426
Goodfellow et al. (2016) - “Deep Learning” Chapter 14: Autoencoders: https://www.deeplearningbook.org/