Ch10 LLM架构

概念-LLM概述

一句话理解

LLM(Large Language Model,大语言模型)是一种通过海量文本训练出来的神经网络,核心能力是”预测下一个词”——但规模足够大后,涌现出推理、翻译、编程等复杂能力。

核心特征

特征说明
规模参数量从 7B 到 600B+
训练数据互联网文本、书籍、代码等 TB 级数据
基础架构绝大多数是 Decoder-Only Transformer
核心能力文本生成、理解、推理、翻译、编程
训练方式预训练 → 指令微调 → 偏好对齐

2026 年主流 LLM

  • 闭源:GPT-5.5、Claude Opus 4.5、Gemini 2.5
  • 开源:DeepSeek-V3、Llama 4、Qwen 3、Mistral Large

与普通 AI 的区别

普通 AI(如传统 NLP 模型)通常只能做单一任务。LLM 的突破在于”通用性”——同一个模型可以聊天、写代码、翻译、分析,不需要针对每个任务重新训练。

相关笔记

来源

关联4

知识图谱

局部图谱 · 点节点跳转