17.4 看图：CLIP 和视觉模型

2021 年，OpenAI（开发 ChatGPT 的公司）发布了 CLIP——一个能把”图片”和”文字”对应起来的模型。

CLIP 的训练方式叫对比学习。核心思想很简单：不是教 AI “这张图是什么”，而是教它”这张图和这段话是不是在说同一个东西”。

具体做法：给 CLIP 看 4 亿对”图片+文字描述”（从互联网上爬取的），然后训练它做一件事——在一个批次的数据中，找出哪张图和哪段文字是配对的。

批次中的图片:       批次中的文字:
[猫的照片]    ←→   "一只猫"
[狗的照片]    ←→   "一只狗"
[车的照片]    ←→   "一辆汽车"

正确匹配: 猫-猫, 狗-狗, 车-车 (对角线)
错误匹配: 猫-狗, 猫-车, 狗-车 (其他组合)

训练目标：让正确匹配的图文对在向量空间中距离最近，错误匹配的距离最远。这就像在玩”连连看”——AI 要在这堆图文里找到谁和谁是一对。

对比学习的关键优势：不需要人工标注。4 亿对图文是从网上自动爬取的——图片的 alt 文本、标题、周围文字就是天然的描述。不需要雇人一张张标注”这是猫”、“这是狗”。

训练完之后，CLIP 获得了”零样本”能力——你跟它说”一只戴着墨镜的猫”，它能在几千张图片里找到最像的那张，即使它从没见过”戴着墨镜的猫”这个具体组合。因为它学会了”墨镜”、“猫”这两个概念在向量空间中的位置，然后找到同时靠近这两个概念的图片。

后来的 GPT-4V（2023）、GPT-4o（2024）、GPT-5.5（2026）把视觉能力整合进了对话——你发一张冰箱内部的照片，问它”这些食材能做什么菜”，它能看懂图片并回答。技术路线是：CLIP（或类似模型）把图片编码成向量，然后大语言模型在向量空间里做”看图说话”。

← 上一节：17.3 多模态的四大核心挑战｜下一节：17.5 CLIP 深度解析：多模态 AI 的基石 →

关联6