概念-LLaVA

概述

LLaVA（Large Language and Vision Assistant）是当前最主流的开源视觉语言模型（Vision-Language Model, VLM）之一，由威斯康星大学麦迪逊分校、微软研究院等机构联合提出。LLaVA 的核心思想是将预训练的视觉编码器（Vision Encoder）与预训练的大语言模型（LLM）通过一个可训练的投影层（Projection Layer）连接起来，实现端到端的视觉-语言对齐。

核心架构

LLaVA 架构三要素

LLaVA 的架构由三个核心组件构成：

Vision Encoder（视觉编码器）：通常使用 CLIP 的 ViT-L/14 或 SigLIP 作为视觉编码器，将输入图像 $X_{v}$ 编码为视觉特征 $Z_{v} = g (X_{v})$ 。
Projection Layer（投影层/连接器）：一个简单的线性层或 MLP，将视觉特征映射到与 LLM 嵌入空间对齐的维度。在 LLaVA-1.5 中，采用两层 MLP 作为连接器。
LLM（大语言模型）：使用预训练的 LLM（如 Vicuna、Mistral、Llama 3）作为语言骨干，接收投影后的视觉 token 和文本 token 的拼接序列，自回归生成回复。

架构演进

版本	发布时间	视觉编码器	语言模型	投影层	图像分辨率	关键特性
LLaVA-1.0	2023.04	CLIP ViT-L/14	Vicuna-7B/13B	单层线性	224x224	首次提出视觉指令微调（Visual Instruction Tuning）
LLaVA-1.5	2023.10	CLIP ViT-L/14@336px	Vicuna-7B/13B	2层 MLP	336x336	引入 MLP 投影层，增加学术任务导向的训练数据，达到当时 SOTA
LLaVA-1.6	2024.01	CLIP ViT-L/14	Mistral-7B / Nous-Hermes-2-Yi-34B	2层 MLP	动态高分辨率	支持任意分辨率输入，将图像切分为多个子图分别编码
LLaVA-NeXT	2024-2025	SigLIP	Llama 3 / Qwen-2	2层 MLP	动态高分辨率	更强的指令遵循，支持视频理解，开源社区标准
LLaVA-NeXT (2026)	2025-2026	SigLIP-2 / InternViT	Llama 4 / Mistral 3	2层 MLP + 注意力	动态高分辨率	引入更强的视觉编码器，支持多图像推理和长视频理解

视觉指令微调（Visual Instruction Tuning）

LLaVA 的核心创新在于提出了视觉指令微调方法：

预训练阶段（Pre-training for Feature Alignment）：仅训练投影层，冻结视觉编码器和 LLM，使用图像-描述对（image-caption pairs）进行训练，使视觉特征与语言嵌入空间对齐。
指令微调阶段（Instruction Tuning）：使用 GPT-4 生成的多模态指令遵循数据（LLaVA-Instruct-150K），训练投影层和 LLM（或仅训练 LLM），使模型能够理解复杂的视觉问答、推理和对话任务。

LLaVA vs 主流闭源 VLM 对比

维度	LLaVA-NeXT (2026)	GPT-5.5V	Gemini 3.5 Pro	Claude 4 Vision
开放性	完全开源（权重、代码、数据）	闭源，仅 API	闭源，仅 API	闭源，仅 API
视觉编码器	SigLIP-2 / InternViT	未公开（推测 MoE）	未公开（推测 MoE）	未公开
语言模型	Llama 4 / Mistral 3	GPT-5.5	Gemini 3.5 Pro	Claude 4
最大分辨率	动态高分辨率（~4K）	支持 8K+	支持 4K+	支持 4K+
视频理解	支持，开源最强	支持，质量最高	支持，原生多模态	支持，需逐帧
多图像推理	支持	支持	支持	支持
文档/图表理解	优秀	最佳	优秀	优秀
成本	免费（自部署）	API 付费	API 付费	API 付费
定制化	可全参数微调	仅 API 微调	仅 API 微调	仅 API 微调
幻觉率	中等	低	低	极低
适用场景	研究、私有化部署、定制	通用商业场景	多模态理解、长视频	高精度文档分析

2026年生态定位

LLaVA 系列在 2026 年已成为开源视觉语言模型的事实标准。LLaVA-NeXT 凭借其完全开源的特性、强大的社区支持（超过 20K GitHub Stars）以及持续迭代的架构，成为学术研究和企业私有化部署的首选 VLM。其与 Llama 4、Mistral 3 等顶尖开源 LLM 的深度集成，使其在多个基准测试中逼近闭源模型的性能。

主要应用场景：

文档理解与 OCR：金融报告、法律文件的自动化解析
多模态对话助手：私有化部署的视觉聊天机器人
视觉问答（VQA）：医学影像分析、工业质检
视频理解：监控视频摘要、教育视频内容分析
具身智能（Embodied AI）：机器人视觉感知

来源

LLaVA 官方项目：https://llava-vl.github.io/
LLaVA GitHub 仓库：https://github.com/haotian-liu/LLaVA
LLaVA-NeXT 技术报告：https://arxiv.org/abs/2310.03744
LLaVA-1.5 论文：https://arxiv.org/abs/2304.08485
Visual Instruction Tuning 论文：https://arxiv.org/abs/2304.08485
2026 年开源 VLM 生态综述：https://huggingface.co/blog/vlm-leaderboard-2026

概述