对比学习 (Contrastive Learning)

概述

对比学习（Contrastive Learning）是一种自监督表示学习方法，核心思想是：拉近相似样本（正样本对）的表示，推远不相似样本（负样本对）的表示。通过构造正负样本对并在表示空间中施加对比约束，模型可以学习到高质量的特征表示，无需人工标注。对比学习是 CLIP、SimCLR、MoCo 等里程碑式工作的理论基础，也是 2026 年多模态表示学习的核心范式。

核心原理

对比学习的目标函数是 InfoNCE 损失（Noise Contrastive Estimation 的信息论版本）：

${\mathcal{L}}_{NCE}=-\log \frac{\exp (\text{sim}(z_i,z_j^{+})/\tau )}{\exp (\text{sim}(z_i,z_j^{+})/\tau )+{\sum }_{k=1}^K\exp (\text{sim}(z_i,z_k^{-})/\tau )}$

其中：

• $z_i$：锚点 (anchor) 的表示
• $z_j^{+}$：正样本 (positive) 的表示
• $z_k^{-}$：负样本 (negative) 的表示
• $\text{sim}$：相似度函数（通常为余弦相似度）
• $\tau$：温度参数 (temperature)，控制分布的平滑程度

关键设计要素

1. 正负样本构造

这是对比学习最核心的设计问题。不同方法的主要区别在于如何定义正样本对：

2. 温度参数 $\tau$

温度参数控制模型对负样本”惩罚”的力度：

• $\tau$ 小：分布更尖锐，对困难负样本（hard negatives）更敏感，表示更具判别性
• $\tau$ 大：分布更平滑，训练更稳定，但可能不够区分细节

3. 负样本数量与质量

• 数量：更多负样本通常带来更好的表示（InfoNCE 的互信息下界更紧）
• 质量：困难负样本（与正样本相似的负样本）对学习至关重要
• 2026 年趋势：大 batch size + 动量队列 + 负样本挖掘

代表性工作对比

多模态对比学习：CLIP 范式

CLIP (Contrastive Language-Image Pre-training) 是对比学习在多模态领域的里程碑：

1. 双编码器：图像编码器（ViT/ResNet）+ 文本编码器（Transformer）
2. 对比目标：Batch 内所有图文对中，匹配的对为正样本，其余为负样本
3. 零样本能力：通过文本 prompt 模板，无需微调即可进行图像分类

CLIP 的损失函数是双向的 InfoNCE（图像到文本 + 文本到图像）。

2026 年趋势

1. 生成式对比学习：结合对比学习与生成式模型（如 DINO + 扩散模型）
2. 多模态对齐：CLIP 范式扩展到视频、音频、3D、蛋白质结构等模态
3. 对比学习 + LLM：用 LLM 生成高质量负样本描述，提升对比学习效果
4. 数据为中心：研究如何自动挖掘和构造高质量正负样本对
5. 对比学习驱动的 RAG：用对比学习训练检索器的查询-文档对齐

相关笔记

• Embedding (嵌入 / 向量表示) - 表示学习的基础：向量嵌入
• 相似度计算 (Similarity Metrics) - 对比学习中的相似度度量
• Bi-Encoder (双塔模型/双编码器) - 双编码器架构与对比学习
• 无监督学习 (Unsupervised Learning) - 自监督学习在无监督学习中的位置

来源

• Chen et al. (2020) - “A Simple Framework for Contrastive Learning of Visual Representations” (SimCLR): https://arxiv.org/abs/2002.05709
• He et al. (2020) - “Momentum Contrast for Unsupervised Visual Representation Learning” (MoCo): https://arxiv.org/abs/1911.05722
• Radford et al. (2021) - “Learning Transferable Visual Models From Natural Language Supervision” (CLIP): https://arxiv.org/abs/2103.00020
• Grill et al. (2020) - “Bootstrap Your Own Latent” (BYOL): https://arxiv.org/abs/2006.07733