CLIP (Contrastive Language-Image Pre-training)

一句话理解

OpenAI的图文对齐模型,用对比学习让文本和图像映射到同一个向量空间——“猫的照片”和文字”猫”在这个空间里距离很近,而”猫的照片”和文字”汽车”距离很远。

核心创新: 不是分类而是对比

传统图像分类 vs CLIP的对比学习

CLIP的对比学习目标

CLIP使用InfoNCE Loss进行训练:

其中 $s_{ij}=\text{cosine\_sim}(I_i,T_j)$ 是第 $i$ 张图像和第 $j$ 条文本的相似度,$\tau$ 是温度参数。

直观理解: 在一个batch中,正确的图文对(对角线)的相似度应该高于所有错误的图文对(非对角线)。

CLIP架构

图像编码器 (Vision Encoder)         文本编码器 (Text Encoder)
  ViT 或 ResNet                        Transformer
       ↓                                    ↓
   图像向量 I                           文本向量 T
       ↓                                    ↓
       └──────────→ 余弦相似度 ←──────────────┘
                    s = I · T / (|I|·|T|)

CLIP的零样本能力

零样本分类流程

传统分类器需要为每个类别训练一个分类头,而CLIP只需要:

1. 将测试图像编码为图像向量
2. 将候选类别名称编码为文本向量(可加上提示模板,如 “a photo of a {class}”)
3. 计算图像向量与每个文本向量的余弦相似度
4. 取相似度最高的类别作为预测结果

这意味着CLIP可以识别训练数据中从未出现过的类别!

零样本性能对比

CLIP的零样本性能已经达到甚至超过了监督训练的ResNet-50。

CLIP如何改变了多模态AI

对下游模型的影响

CLIP的局限性

CLIP变体演进

2026年: CLIP思想影响所有多模态模型

相关笔记

• 第17章 . 多模态 AI — 多模态AI的完整技术体系
• 第7章 · CNN 与计算机视觉 — 视觉编码器基础
• 深挖-ViT (Vision Transformer) — Vision Transformer,CLIP的视觉编码器选择
• 注意力机制 (Attention Mechanism) — CLIP中Transformer的基础
• 迁移学习 (Transfer Learning) — CLIP作为预训练模型的迁移应用
• 归一化 (Normalization) — 对比学习中的温度参数与归一化

来源

• Radford et al., “Learning Transferable Visual Models From Natural Language Supervision” (2021) — https://arxiv.org/abs/2103.00020
• Zhai et al., “Sigmoid Loss for Language Image Pre-Training” (SigLIP, 2023) — https://arxiv.org/abs/2303.15343
• Yu et al., “CoCa: Contrastive Captioners are Image-Text Foundation Models” (2022) — https://arxiv.org/abs/2205.01917
• OpenAI CLIP Blog — https://openai.com/research/clip
• Hugging Face CLIP Model Card — https://huggingface.co/openai/clip-vit-large-patch14