Ch22 技术全景修订于 二〇二六年七月六日

22.1 全栈架构

概念

AI 应用不是”一个模型”,而是一组技术像楼房的楼层一样叠在一起的技术栈(tech stack)。就像你点外卖:你打开手机 App(应用层),App 把你的订单发给商家管理后台(编排层),后台通过统一的接口协议对接骑手(互操作层),骑手从最近的仓库取餐(检索层),仓库用保温箱保持餐品质量(推理引擎层),餐品本身是厨房做出来的(模型层),而厨师的手艺来自长期训练(训练层)。每一层出了问题,外卖就送不到你手上。

2026 年的标准 AI 全栈包含七层,从用户触达一直通到模型训练:1

教学:逐层拆解

应用层是你直接接触的界面 — ChatGPT 的对话窗口、Cursor 的代码编辑器、Copilot 的补全弹窗。这层的任务是让用户用自然语言表达需求,而不需要理解底下任何一层是怎么工作的。

Agent 编排层是”大脑的手”。模型输出一个意图,编排层把它翻译成一系列动作:先去查数据库,再调计算器,最后把结果汇总。就像秘书接到老板的指令后自己去查文件、打电话、发邮件,然后把结论交回来。主流框架各有侧重:LangGraph 擅长精细控制多步流程,CrewAI 专注于让多个”角色 Agent”协作,AutoGen 深度集成微软 Azure 生态,Google ADK 则为 Gemini 和 GCP 用户量身定制。2

互操作协议层是 2026 年最重要的基础设施创新。它解决了一个关键问题:不同厂商的 AI 工具怎么互相配合?MCP(Model Context Protocol,Anthropic 提出)统一了 AI 调用外部工具的接口标准,就像所有电子设备共用 USB-C 充电口。A2A(Agent-to-Agent,Google 提出)则让不同框架的 Agent 互相对话,就像不同国家的外交官使用同一种外交语言。两者互补:MCP 管工具,A2A 管协作。3; 4

知识检索层实现了”给 AI 外挂一个图书馆”。模型自身的知识截止于训练日期,而 RAG(Retrieval-Augmented Generation,检索增强生成)让模型在回答前先去查阅外部文档库。核心流程是:文档加载 -> 文本分块 -> 嵌入向量化 -> 存入向量库 -> 用户查询时检索 -> 重排序 -> 把最相关的片段喂给模型生成答案。2026 年混合检索(稠密向量 + BM25 关键词)已成标配,Graph RAG(知识图谱增强检索)和 Agentic RAG(Agent 自主决定检索策略)正在崛起。5; 6

推理引擎层是”让模型跑得又快又省”的加速器。一个 70B 参数的模型如果用原始方式运行,普通显卡根本带不动。推理引擎通过 PagedAttention(把注意力计算的缓存像操作系统分页一样管理)、连续批处理(把多个请求合并一起算)和量化(把 16-bit 浮点数压缩到 4-bit,精度损失极小但内存占用减半)等技术,让大模型能在普通硬件上流畅运行。vLLM 是云端生产环境的首选,SGLang 在对延迟敏感的在线服务中表现突出,TensorRT-LLM 是 NVIDIA 显卡的极致优化方案,Ollama 和 llama.cpp 则让消费级硬件也能跑大模型。7; 8

模型层是 AI 的”发动机”本身。2026 年市场呈现双轨格局:闭源旗舰(GPT-5.5、Claude Opus 4.8、Gemini 3.5 Pro)在复杂推理和多模态任务上领先;开源模型(Llama 4.1、Qwen 3.7、DeepSeek-V3)在成本和可控性上优势明显,许多企业场景中开源模型已足够好用。选择模型的核心考量不是”哪个最强”,而是”哪个最适合我的任务、预算和延迟要求”。9

训练与微调层是 AI 的”学校”。基座模型通过在海量互联网文本上预训练获得通用能力,然后在专门数据上微调以适应特定场景。2026 年标准管线是”三阶段”:SFT(监督微调,教模型回答格式)-> LoRA/QLoRA(高效适配,只训练极少参数)-> DPO/GRPO(偏好对齐,让模型输出更符合人类偏好)。其中 GRPO(分组相对策略优化)被 DeepSeek-R1 采用后成为推理类任务的标配方法。10; 11

注意事项

不要追求每一层都用”最好的”。 AI 技术栈的核心原则是”适合的比最强的更重要”。一个只有 100 个用户的小工具不需要 vLLM 集群 — Ollama 单机部署就够用。反之,一个千万用户的产品只用 Ollama 则会在高峰期崩溃。从需求量最小的层开始选型,逐步向上堆叠。

不要跳过互操作层。 2025 年之前,很多团队把 Agent 直接和具体工具硬编码绑定,结果是换一个模型或换一个工具就要重写大量代码。MCP 和 A2A 协议的价值不在于它们本身多强大,而在于它们让你可以随时替换底下的任何一层 — 模型换了、向量库换了、工具换了,上层的 Agent 逻辑不受影响。

全栈不等于全都要自己建。 2026 年的趋势是分层外包:应用层用 ChatGPT/Claude 的现成界面,编排层用 LangGraph 或 CrewAI,推理层用云服务商提供的托管 API,只有当你需要极致的成本控制或数据隐私时才自己从底层搭建。12

关联

本章余下各节按栈从下往上展开:22.2 推理引擎 覆盖推理引擎层,22.3 Agent 框架 覆盖编排层和互操作层,22.4 微调技术 覆盖训练层,22.5 RAG 技术栈 覆盖检索层,22.6 多模态模型 覆盖模型层中除文本外的视觉、语音和视频能力。

更深入的专题:

子文件夹:


← 上一节:章首 | 下一节:22.2 推理引擎:从云端到边缘 →

注释

  1. O’Reilly Radar, “The AI Agents Stack 2026 Edition”, https://www.oreilly.com/radar/the-ai-agents-stack-2026-edition/ ↩

  2. MachineLearningMastery.com, “The AI Agent Tech Stack Explained”, https://machinelearningmastery.com/the-ai-agent-tech-stack-explained/ ↩

  3. Anthropic, “Introducing MCP”, https://www.anthropic.com/news/model-context-protocol ↩

  4. Google Developers Blog, “Announcing A2A”, https://developers.googleblog.com ↩

  5. Firecrawl, “RAG Guide”, https://firecrawl.dev ↩

  6. FutureAGI, “RAG Architecture 2026”, https://futureagi.com/blog/rag-architecture-llm-2025/ ↩

  7. RedHat, “LLM Inference Guide”, https://developers.redhat.com/articles/2024/11/07/how-optimize-ai-inference ↩

  8. DeployBase, “LLM Inference Engines Compared”, https://deploybase.ai ↩

  9. Kellton, “AI Tech Stack 2026”, https://kellton.com/kellton-tech-blog/ai-tech-stack-2026 ↩

  10. FutureAGI, “LLM Fine-Tuning Guide 2026”, https://futureagi.com/blog/llm-fine-tuning-guide-2025/ ↩

  11. llm-stats.com, “Post-Training in 2026: GRPO, DAPO, RLVR & Beyond”, https://llm-stats.com/blog/research/post-training-techniques-2026 ↩

  12. Blockchain.News, “AI Engineering Stack 2026 Guide Outlines 10 Layers”, https://blockchain.news/ainews/ai-engineering-stack-2026-guide-outlines-10-layers ↩

关联16

知识图谱

局部图谱 · 点节点跳转