17.3 多模态的四大核心挑战

除了模态对齐，多模态 AI 还面临三个同样关键的问题。

17.3.1 挑战二：模态融合 —— 什么时候融合，怎么融合

不同模态的信息在哪个阶段合并？这是一个关键的架构设计决策：

早期融合（Early Fusion）：在输入层就把不同模态合并。比如把文本 embedding 和图像 embedding 拼接在一起，然后送进一个统一的模型。优点：模型可以从最底层开始学习跨模态关系。缺点：不同模态的处理节奏不同——文本是离散的（词→词→词），图像是连续的（整张图一次性输入），强行在早期合并可能丢失各自的特点。

中期融合（Intermediate Fusion）：各模态先独立处理几层，提取各自的特征，然后在中间层进行跨模态交互（如交叉注意力——Cross-Attention：让文本特征关注图像特征，也让图像特征关注文本特征，实现双向的信息流动）。这是目前最主流的方式——LLaVA、CogVLM、Flamingo 都采用这种策略。视觉编码器处理图像，文本编码器处理文本，然后在 LLM 的中间层进行交叉注意力。

晚期融合（Late Fusion）：各模态独立处理到最后，只在决策层合并。比如视觉模型输出”80% 概率是猫”，文本模型输出”提到猫”，最后投票决定。优点：简单，各模态独立训练。缺点：丢失了模态间细粒度的交互——没法理解”文字说的是图片中的哪个物体”。

2026 年的趋势：中期融合是主流。早期融合在轻量级场景（如移动端多模态）也在发展。关键发现是：融合的时机取决于任务——如果任务需要细粒度的跨模态对齐（如”在图片中找到文字描述的那个物体”），需要早融合；如果各模态相对独立（如”看图判断整体风格 + 读文字判断情感倾向”），晚融合就够了。

17.3.2 挑战三：模态缺失 —— 有些模态可能不可用

训练时所有模态都有（图文配对数据），但推理时可能只有一种模态。比如：

训练时：图片 + 文字 → 输出
推理时：只有文字，没有图片

解决方案：

模态丢弃训练（Modality Dropout）：训练时随机丢弃某些模态（比如 30% 的样本去掉图片，20% 的样本去掉文字），强迫模型学习从部分模态推理。这类似于 Dropout 的正则化效果。
生成式补全：用生成模型从可用模态生成缺失模态。比如从文字生成图片特征（用扩散模型），然后送入多模态模型。
共享表示空间：确保每个模态的编码器都能独立地将输入映射到共享空间，即使没有其他模态，单个模态的表示仍然有意义。CLIP 就是这样设计的——文本编码器和图像编码器可以独立使用。

17.3.3 挑战四：跨模态迁移 —— 从一种模态学到另一种

利用一个模态上学到的知识，帮助另一个模态的学习。比如：

用大量图文配对数据训练后，模型在纯文本任务上的表现也提升了（因为图像提供了”接地”的语义理解——“苹果”不只是文字符号，还关联了苹果的视觉特征）
用语音数据训练后，模型在文本情感分析上更好了（因为语音中的韵律、语调提供了额外的情感信号）

跨模态迁移的关键技术：

知识蒸馏：用一个模态的”教师模型”指导另一个模态的”学生模型”。比如用视觉特征（教师）指导文本模型（学生）学习更好的物体表示。
对比学习：CLIP 的图文对比学习本质上就是一种跨模态迁移——图像和文本互相作为对方的监督信号。
零样本跨模态：在 A 模态上训练，直接在 B 模态上推理。比如只用文本训练的 LLM，通过 CLIP 的共享空间，可以”理解”图片——因为图片被映射到了文本所在的向量空间。

← 上一节：17.2 多模态的核心挑战：模态对齐｜下一节：17.4 看图：CLIP 和视觉模型 →