索引 / 标签
#多模态
共 25 篇
- Ch06 神经网络基础
对比学习 (Contrastive Learning)
对比学习（Contrastive Learning）是一种自监督表示学习方法，核心思想是：拉近相似样本（正样本对）的表示，推远不相似样本（负样本对）的表示。通过构造正负样本对并在表示空间中施加对比约束，模型可以学习到高质量的特征表示，无需人工标注。对比学习是 CLIP、SimCL
约 3 分钟1,050 字 - Ch10 LLM架构
Google Gemini 模型家族
概述 Gemini 是 Google DeepMind 开发的多模态大语言模型家族，自 2023 年 12 月首次发布以来，已经发展成为最具竞争力的 AI 模型生态系统之一。Gemini 的独
约 6 分钟1,967 字 - Ch17 多模态AI
CLIP (Contrastive Language-Image Pre-training)
一句话理解 OpenAI的图文对齐模型,用对比学习让文本和图像映射到同一个向量空间——"猫的照片"和文字"猫"在这个空间里距离很近,而"猫的照片"和文字"汽车"距离很远。 核心创新: 不是分类
约 4 分钟1,226 字 - Ch17 多模态AI
- Ch17 多模态AI
17.10 多模态 Agent：能看、能听、能做的 AI
2026 年，多模态 AI 不再只是"能看能说"——它能做。 17.10.1 多模态 Agent 的核心能力 多模态感知：同时处理视觉、语言、音频输入，理解完整的场景。比如戴着 AR 眼镜，Agent 能看到你面前的人、听到对方说话、理解你当前的上下文。 多模态工具使用：Agen
约 2 分钟522 字 - Ch17 多模态AI
17.11 2026 多模态技术栈：从零搭建多模态应用
17.11.1 选型指南 | 需求 | 推荐方案 | 说明 | |------|---------|------| | 图文理解（通用） | GPT-5.5 / Gemini 3.5 Pro
约 1 分钟262 字 - Ch17 多模态AI
17.12 2026 年主流多模态模型对比
到 2026 年，多模态已经不是少数几家公司的独门技术——从 OpenAI 到 Google，从阿里到 xAI，所有主要 AI 厂商都推出了多模态模型。面对这么多选择，该用哪个？
约 2 分钟755 字 - Ch17 多模态AI
17.13 多模态应用场景
多模态 AI 的应用已经从"能做什么"变成了"已经在做什么"。2026 年，以下四个方向是最成熟也最值得关注的。无论你是普通用户还是开发者，这些场景都可以今天就用起来。
约 2 分钟480 字 - Ch17 多模态AI
17.14 多模态的局限性
多模态 AI 也会"胡说八道"。你给它看一张普通的街景照片，它可能说"画面中有三个人在遛狗"——但实际上只有两个人。这是因为模型在生成描述时，语言模型部分的"补全"能力过度发挥了。
约 1 分钟419 字 - Ch17 多模态AI
17.2 多模态的核心挑战：模态对齐
让 AI 同时理解文字和图片，听起来简单，实际上是 AI 领域最困难的问题之一。核心挑战叫做模态对齐——怎么让文字和图片在同一个"理解空间"里？ 问题：文字是一串离散的 token（"猫"、"坐"、"在"、"桌子"、"上"），图片是一堆像素值（1024×1024×3 个数字）。它
约 1 分钟402 字 - Ch17 多模态AI
17.3 多模态的四大核心挑战
除了模态对齐，多模态 AI 还面临三个同样关键的问题。 17.3.1 挑战二：模态融合 —— 什么时候融合，怎么融合 不同模态的信息在哪个阶段合并？这是一个关键的架构设计决策： 早期融合（Early Fusion）：在输入层就把不同模态合并。比如把文本 embedding 和图像
约 4 分钟1,121 字 - Ch17 多模态AI
17.4 看图：CLIP 和视觉模型
2021 年，OpenAI（开发 ChatGPT 的公司）发布了 CLIP——一个能把"图片"和"文字"对应起来的模型。 17.4.1 CLIP 的训练方式：对比学习 CLIP 的训练方式叫对比学习。核心思想很简单：不是教 AI "这张图是什么"，而是教它"这张图和这段话是不是在
约 2 分钟513 字 - Ch17 多模态AI
17.5 CLIP 深度解析：多模态 AI 的基石
CLIP（Contrastive Language-Image Pre-training）不仅仅是"一个模型"，它是多模态 AI 的转折点。理解 CLIP 的每一个细节，就是理解多模态 AI 的基础。 17.5.1 对比学习：CLIP 的训练方式 CLIP 的训练方式叫对比学习。
约 4 分钟1,284 字 - Ch17 多模态AI
17.6 视觉语言模型（VLM）详解：从看图到对话
CLIP 只能判断"图片和文字是否匹配"，不能真正"理解"图片并回答问题。VLM（Vision-Language Model）填补了这个空白——它既能看，又能说。 17.6.1 LLaVA（Large Language and Vision Assistant，2023）：VLM
约 3 分钟939 字 - Ch17 多模态AI
17.7 图像生成模型详解：从 VAE 到扩散模型
你输入的描述怎么变成一张图片？这是 AI 领域最"看得见"的进步——从 2014 年的模糊小图，到 2026 年的照片级生成。 17.7.1 技术演进：VAE → GAN → Diffusion VAE（变分自编码器，2014）：最早的生成模型之一。核心思想：把图片压缩到一个低维
约 4 分钟1,437 字 - Ch17 多模态AI
17.8 视频理解与生成：2026 年最热的前沿
17.8.1 视频理解：不只是"看一帧" 视频理解比图像理解难得多——需要理解时间维度上的变化和因果关系。 Video-LLaMA（2023）：将视频理解融入 LLM 的早期尝试。用 ViT
约 3 分钟978 字 - Ch17 多模态AI
17.9 语音与音频：听和说的 AI
17.9.1 语音识别（ASR） Whisper（2022）：OpenAI 发布的语音识别模型。支持 99 种语言，嘈杂环境也能用，开源免费。Whisper 用 68 万小时的多语言语音数据训
约 1 分钟204 字 - Ch17 多模态AI
第17章 . 多模态 AI
你用的 ChatGPT 可以看图、可以听你说话、可以跟你语音对话。它不是"一个人"在做这些事——是多个专门的 AI 在分工合作：视觉模型负责看懂图片，语音模型负责听懂说话，文字模型负责理解和生成文字，一个"调度器"决定什么时候用哪个模型。你感觉不到切换，因为调度器做得很快，像无缝
约 2 分钟745 字 - Ch19 多模态深度原理
19.1 CLIP：怎么让 AI 看懂图
CLIP（Contrastive Language-Image Pre-training）是 OpenAI 2021 年发布的模型 ^Radford et al., "Learning Transferable Visual Models from Natural Languag
约 1 分钟461 字 - Ch19 多模态深度原理
19.2 扩散模型：怎么从文字生成图
扩散模型（Diffusion Model）的思路：先去噪，再生成。 正向扩散（训练阶段）：拿一张清晰的图片，逐步加噪声。加 1 步——轻微模糊。加 10 步——中度噪声。加 1000 步——完全变成纯噪声。模型学习"每一步加了多少噪声"。 反向扩散（生成阶段）：从纯噪声开始，逐步
约 1 分钟372 字 - Ch19 多模态深度原理
19.3 ViT：Transformer 怎么看图
概念：把图片当成"句子"来读 ViT（Vision Transformer，视觉 Transformer）是 Google 研究团队 2020 年提出的架构，核心思想一句话就能说清楚：把一张图
约 7 分钟2,274 字 - Ch19 多模态深度原理
19.4 Whisper架构详解
Whisper是OpenAI开源的语音识别模型，2022年发布，2026年已迭代到v4版本。它把语音识别做成了"翻译任务"——输入音频，输出文字。 架构：编码器-解码器 - 编码器：音频切成30秒的片段，每个片段转成80维的梅尔频谱图（一种模拟人耳听觉特性的音频表示——低频给更多
约 1 分钟472 字 - Ch19 多模态深度原理
19.5 TTS技术演进
TTS（Text-to-Speech，文字转语音）经历了六代演进，每一代解决一个核心问题： - Tacotron（2017）：第一代端到端TTS。输入文字，输出梅尔频谱图，再用WaveNet声码器把频谱图转成波形。效果突破——不再像机器人，但推理很慢（生成1秒音频需要几秒）。 -
约 1 分钟434 字 - Ch19 多模态深度原理
19.6 2026年语音AI应用
语音AI在2026年已经从"能用"进化到"好用"，四大应用场景： 实时翻译：Whisper v4 + 大语言模型翻译 + 多语言TTS，实现了"你说中文，对方听到英文，延迟小于2秒"。Meta的SeamlessM4T和Google的Universal Translator都在这个
约 1 分钟334 字 - Ch19 多模态深度原理
第19章 · 多模态深度原理
Ch17 多模态 AI 介绍了多模态是什么、能干什么。这篇深入三种核心技术：CLIP（图文对齐）、扩散模型（图像生成）、ViT（视觉 Transformer——把 Transformer 架构用在图像上，和 CNN 用卷积核逐层扫描不同，ViT 直接把图切成小块当 token 处
约 2 分钟681 字