索引 / 标签
#原理
共 46 篇
- Ch13 RAG
13.1 为什么需要 RAG
13.1.1 LLM 的三大局限 AI（人工智能）的知识来自训练数据。训练完之后就不会自动更新了。你问它"今天北京天气怎么样"，它不知道——训练数据里没有"今天"。具体来说，大语言模型（LLM
约 4 分钟1,295 字 - Ch13 RAG
13.10 第五代：知识图谱辅助（Graph RAG）
有些问题需要"多跳推理"——不是搜一次能解决的。 比如"张三的老板的老板是谁"——你得先找到"张三的老板是谁"，再找"那个人的老板是谁"。传统 RAG 搜一次只能回答第一跳。 13.10.1 Graph RAG 的原理 2024 年微软开源了 Graph RAG——它不把文档当纯
约 4 分钟1,169 字 - Ch13 RAG
13.12 RAG 高级技术
五代进化讲的是 RAG 的宏观演变路径。但在每一代内部，还有大量"高级技术"可以提升效果。这些技术不是独立的一代，而是可以在任何一代上叠加的优化手段。 13.12.1 HyDE（假设文档嵌入） 2023 年提出的反直觉但有效的技术。核心思路：用生成来增强检索。 传统 RAG 的问
约 4 分钟1,277 字 - Ch13 RAG
13.13 RAG 评估
你搭了一个 RAG 系统，改了分块策略，换了重排序模型——你怎么知道它变好了还是变差了？RAG 评估就是回答这个问题的。 13.13.1 为什么 RAG 评估这么难 评估一个聊天机器人相对容易——你问一个问题，看它回答得好不好。但 RAG 系统有两层：检索层和生成层。答案不好，可
约 4 分钟1,201 字 - Ch13 RAG
13.14 RAG vs 微调 vs 长上下文
RAG 不是唯一的选择。面对"让 LLM 知道更多信息"这个问题，你有三种方案：RAG、微调、长上下文。2026 年，这三种方案各有各的位置。 13.14.1 三种方案对比 RAG：检索 + 生成。知识存在外部数据库里，查询时动态检索。知识更新：实时（改数据库就行）。成本：每次查
约 3 分钟907 字 - Ch13 RAG
13.15 RAG 生产部署
从 Jupyter Notebook 里的 Demo 到生产环境可用的系统，中间有一大段路要走。这一节讲 2026 年 RAG 生产部署的实践建议。 13.15.1 2026 RAG 技术栈推荐 入门级（个人项目 / MVP）： - 向量数据库：Chroma（开源，Python
约 3 分钟1,050 字 - Ch13 RAG
13.16 动手搭一个 RAG
前面讲了这么多理论，这一节用最少的代码，让你真正跑起来一个 RAG 系统。 13.16.1 30 行代码搭一个最小 RAG 13.16.2 逐步解释 第 1-3 行：导入库。chromadb 是向量数据库，openai 提供 Embedding 和 LLM 能力。 第 6-12
约 2 分钟519 字 - Ch13 RAG
13.2 RAG 系统架构
RAG 看起来很直观，但背后是一套工程系统。理解它的架构，你才能理解为什么"分块大小"、"检索策略"、"重排序"这些细节如此重要。 13.2.1 两条管线：离线索引 + 在线查询 RAG 系统由两条管线组成，一条在用户提问前运行（离线），一条在用户提问时运行（在线）。 离线索引管
约 3 分钟1,006 字 - Ch13 RAG
13.3 分块策略 —— RAG 的地基
分块（Chunking）是 RAG 系统中最容易被低估的环节。检索质量的上限，很大程度上由分块策略决定。分得太大，检索不准；分得太小，语义不完整；分得不合理，后面全白搭。 13.3.1 为什么需要分块 三个原因。第一，Embedding 模型有输入长度限制。 很多开源 Embed
约 6 分钟1,777 字 - Ch13 RAG
13.4 第一代：关键词搜索（稀疏检索）
最早的做法：把用户的问题当成搜索关键词，在文档库里找包含这些词的文档。 比如用户问"头疼吃什么药"，系统搜索包含"头疼""什么""药"这些词的文档，找到一堆相关文章，塞给 AI。AI 读完后回答。 13.4.1 稀疏检索的原理 这种方法叫关键词检索，在信息检索领域有更专业的名字—
约 3 分钟864 字 - Ch13 RAG
13.5 第二代：语义搜索（稠密检索）
后来有了更好的办法：把文本变成一串数字（叫"向量"），语义相近的文本，数字也相近。 "苹果手机"和"iPhone"在向量空间里离得很近——因为它们意思一样。即使用词完全不同，系统也能找到。 13.5.1 稠密检索的原理 这种方法叫语义检索（也叫稠密检索——"稠密"的意思是每个词的
约 3 分钟1,024 字 - Ch13 RAG
13.6 第三代：混合检索
关键词检索和语义检索各有优点。关键词检索在搜人名、地名、专有名词时更准。语义检索在搜意思相近的内容时更准。 2025 年开始，实际系统都是混合检索——两边一起搜，把结果合并，再做一次排序，挑最相关的内容给 AI。这样既不会漏掉精确匹配的关键词结果，也能找到语义相近的内容 ^Sta
约 2 分钟749 字 - Ch13 RAG
13.7 重排序 —— 提升精度的关键
混合检索给了你 Top-K 个候选文档（K 通常取 20-50），但这些候选文档的质量参差不齐。你需要一个"精选"环节——从 50 个候选中挑出最相关的 3-5 个，塞进 LLM 的 Prompt。这就是重排序。 13.7.1 为什么需要重排序 初检（Embedding + BM
约 3 分钟923 字 - Ch13 RAG
13.8 生成阶段 —— 让 LLM 用上检索结果
检索和重排序完成了"找资料"的工作，但最终的质量取决于 LLM 怎么"用"这些资料。生成阶段的设计同样重要。 13.8.1 Prompt 模板设计 RAG 的 Prompt 模板通常包含四个部分： 1. 系统角色设定：告诉 LLM 它是谁。"你是一个专业的技术文档助手"和"你是一
约 3 分钟1,050 字 - Ch13 RAG
13.9 第四代：AI 自己决定怎么搜（Agentic RAG）
前三代的做法都是人预先定好的流程——搜几次、怎么搜、搜什么，都是固定的。 2025 年出现了新思路：让 AI 自己决定。AI 拿到问题后，自己判断——这个问题需要搜几次？每次搜什么关键词？搜索结果够不够好？不够就换个方式再搜一次。 13.9.1 Agentic RAG 的核心思想
约 3 分钟985 字 - Ch13 RAG
- Ch13 RAG
- Ch14 Agent原理
- Ch14 Agent原理
- Ch14 Agent原理
14.11 2026 年主流 Agent 框架对比
选择建议：快速验证想法用 CrewAI，企业级部署用 LangGraph，微软生态用 AutoGen，学习多 Agent 概念用 Swarm。
约 1 分钟238 字 - Ch14 Agent原理
- Ch14 Agent原理
14.3 举个例子
你对普通 AI 说："帮我查一下北京明天天气，如果下雨就提醒我带伞。" 普通 AI 会说："抱歉，我无法查询实时天气。"——没有工具，做不到。 Agent 的做法： - 第 1 步（想）：需要查天气 - 调用天气查询工具 - 第 2 步（做）：查到"明天北京晴转多云，不会下雨"
约 1 分钟175 字 - Ch14 Agent原理
- Ch14 Agent原理
- Ch14 Agent原理
- Ch14 Agent原理
- Ch14 Agent原理
14.8 2026 年 Agent 的新变化
MCP 和 A2A 标准化。2024 年底 Anthropic 推出 MCP（Model Context Protocol，模型与工具的连接标准），2025 年 Google 推出 A2A（Agent-to-Agent，Agent 之间的通信标准）。2026 年，这两个协议让 A
约 1 分钟249 字 - Ch14 Agent原理
- Ch14 Agent原理
第14章 · Agent 是怎么工作的
Agent（可以理解为"能自己干活的 AI"）和普通 AI 最大的区别：普通 AI 你问一句它答一句，Agent 你给一个任务，它自己规划步骤、调用工具、检查结果、调整再来。这篇讲它怎么做到的。 跟你有什么关系 你现在用的很多产品，底层已经是 Agent 了： - Perplex
约 2 分钟740 字 - Ch14 Agent原理
工具调用演变
你在 Ch14 Agent 工作原理 里看到 Agent（能自己干活的 AI）能"调用工具"。但 AI 最早是不会用工具的——它只会说话。怎么从"只会说话"变成"会用工具"的？这篇从头讲。
约 3 分钟1,026 字 - Ch14 Agent原理
工作流模式（深挖）
你在 Ch14 Agent 工作原理 里看到 Agent（能自己干活的 AI）能自己规划步骤。但步骤之间的连接方式不止一种——有的像流水线，有的像岔路口，有的完全让 AI 自己决定。这三种连接方式，就叫工作流（Workflow）模式。 （说明：以下三种分类是面向初学者的教学简化，
约 3 分钟1,000 字 - Ch17 多模态AI
- Ch17 多模态AI
17.10 多模态 Agent：能看、能听、能做的 AI
2026 年，多模态 AI 不再只是"能看能说"——它能做。 17.10.1 多模态 Agent 的核心能力 多模态感知：同时处理视觉、语言、音频输入，理解完整的场景。比如戴着 AR 眼镜，Agent 能看到你面前的人、听到对方说话、理解你当前的上下文。 多模态工具使用：Agen
约 2 分钟522 字 - Ch17 多模态AI
17.11 2026 多模态技术栈：从零搭建多模态应用
17.11.1 选型指南 | 需求 | 推荐方案 | 说明 | |------|---------|------| | 图文理解（通用） | GPT-5.5 / Gemini 3.5 Pro
约 1 分钟262 字 - Ch17 多模态AI
17.12 2026 年主流多模态模型对比
到 2026 年，多模态已经不是少数几家公司的独门技术——从 OpenAI 到 Google，从阿里到 xAI，所有主要 AI 厂商都推出了多模态模型。面对这么多选择，该用哪个？
约 2 分钟755 字 - Ch17 多模态AI
17.13 多模态应用场景
多模态 AI 的应用已经从"能做什么"变成了"已经在做什么"。2026 年，以下四个方向是最成熟也最值得关注的。无论你是普通用户还是开发者，这些场景都可以今天就用起来。
约 2 分钟480 字 - Ch17 多模态AI
17.14 多模态的局限性
多模态 AI 也会"胡说八道"。你给它看一张普通的街景照片，它可能说"画面中有三个人在遛狗"——但实际上只有两个人。这是因为模型在生成描述时，语言模型部分的"补全"能力过度发挥了。
约 1 分钟419 字 - Ch17 多模态AI
17.2 多模态的核心挑战：模态对齐
让 AI 同时理解文字和图片，听起来简单，实际上是 AI 领域最困难的问题之一。核心挑战叫做模态对齐——怎么让文字和图片在同一个"理解空间"里？ 问题：文字是一串离散的 token（"猫"、"坐"、"在"、"桌子"、"上"），图片是一堆像素值（1024×1024×3 个数字）。它
约 1 分钟402 字 - Ch17 多模态AI
17.3 多模态的四大核心挑战
除了模态对齐，多模态 AI 还面临三个同样关键的问题。 17.3.1 挑战二：模态融合 —— 什么时候融合，怎么融合 不同模态的信息在哪个阶段合并？这是一个关键的架构设计决策： 早期融合（Early Fusion）：在输入层就把不同模态合并。比如把文本 embedding 和图像
约 4 分钟1,121 字 - Ch17 多模态AI
17.4 看图：CLIP 和视觉模型
2021 年，OpenAI（开发 ChatGPT 的公司）发布了 CLIP——一个能把"图片"和"文字"对应起来的模型。 17.4.1 CLIP 的训练方式：对比学习 CLIP 的训练方式叫对比学习。核心思想很简单：不是教 AI "这张图是什么"，而是教它"这张图和这段话是不是在
约 2 分钟513 字 - Ch17 多模态AI
17.5 CLIP 深度解析：多模态 AI 的基石
CLIP（Contrastive Language-Image Pre-training）不仅仅是"一个模型"，它是多模态 AI 的转折点。理解 CLIP 的每一个细节，就是理解多模态 AI 的基础。 17.5.1 对比学习：CLIP 的训练方式 CLIP 的训练方式叫对比学习。
约 4 分钟1,284 字 - Ch17 多模态AI
17.6 视觉语言模型（VLM）详解：从看图到对话
CLIP 只能判断"图片和文字是否匹配"，不能真正"理解"图片并回答问题。VLM（Vision-Language Model）填补了这个空白——它既能看，又能说。 17.6.1 LLaVA（Large Language and Vision Assistant，2023）：VLM
约 3 分钟939 字 - Ch17 多模态AI
17.7 图像生成模型详解：从 VAE 到扩散模型
你输入的描述怎么变成一张图片？这是 AI 领域最"看得见"的进步——从 2014 年的模糊小图，到 2026 年的照片级生成。 17.7.1 技术演进：VAE → GAN → Diffusion VAE（变分自编码器，2014）：最早的生成模型之一。核心思想：把图片压缩到一个低维
约 4 分钟1,437 字 - Ch17 多模态AI
17.8 视频理解与生成：2026 年最热的前沿
17.8.1 视频理解：不只是"看一帧" 视频理解比图像理解难得多——需要理解时间维度上的变化和因果关系。 Video-LLaMA（2023）：将视频理解融入 LLM 的早期尝试。用 ViT
约 3 分钟978 字 - Ch17 多模态AI
17.9 语音与音频：听和说的 AI
17.9.1 语音识别（ASR） Whisper（2022）：OpenAI 发布的语音识别模型。支持 99 种语言，嘈杂环境也能用，开源免费。Whisper 用 68 万小时的多语言语音数据训
约 1 分钟204 字 - Ch17 多模态AI
第17章 . 多模态 AI
你用的 ChatGPT 可以看图、可以听你说话、可以跟你语音对话。它不是"一个人"在做这些事——是多个专门的 AI 在分工合作：视觉模型负责看懂图片，语音模型负责听懂说话，文字模型负责理解和生成文字，一个"调度器"决定什么时候用哪个模型。你感觉不到切换，因为调度器做得很快，像无缝
约 2 分钟745 字