21.9 2026年MLOps趋势

2026年，MLOps正在分化为三个新方向：

LLMOps（大模型运维）：传统MLOps管的是”训练自己的模型”，LLMOps管的是”使用别人的大模型”。核心挑战不同：

• 提示词管理：不是管理模型版本，而是管理提示词版本。一个提示词的微小改动（“你是专家” vs “你是世界级专家”）可能让准确率波动10%。工具：LangSmith、PromptLayer。
• 成本监控：每次API调用都在花钱。需要监控”每天花了多少钱”、“哪个Agent最烧钱”、“哪个用户的请求最贵”。这是传统MLOps没有的维度。
• 多模型路由：不是部署一个模型，而是把请求路由到不同的模型（简单问题用便宜模型，复杂问题用贵模型）。工具：OpenRouter、LiteLLM。

AgentOps（Agent运维）：Agent（智能体）不是”一个请求一个响应”的简单模式，而是”一个任务触发几十次工具调用和推理步骤”。AgentOps管的不是单个模型，而是Agent的整个执行链路：

• 链路追踪：Agent做了哪些步骤？调了哪些工具？在哪一步卡住了？在哪一步花了最多的token？
• 成功率监控：Agent完成任务的真实成功率是多少？不是看单次API调用是否成功，而是看最终结果是否满足用户需求。
• 安全审计：Agent调用了哪些外部API？有没有泄露敏感数据？有没有执行危险操作？
• 工具：LangSmith、Arize Phoenix、Weights & Biases Weave。

评估自动化：传统MLOps用准确率/F1评估模型。2026年，LLM和Agent的评估完全不同：

• LLM-as-a-Judge：用另一个LLM来评估你的LLM的输出质量。比如用Claude评估GPT的输出是否”有帮助、诚实、无害”。
• 人工评估的自动化：不是完全取代人工，而是让人工评估更高效——AI先评分，人只审查AI不确定的案例。
• 在线评估：不是离线跑测试集，而是在生产环境中实时采样真实用户请求，自动评估模型表现。工具：Braintrust、Langfuse。

2026年的核心矛盾：MLOps的工具链越来越复杂，但大部分团队还没有能力管理这些复杂度。趋势是”工具整合”——从”用10个工具拼成一条流水线”到”用一个平台覆盖全流程”。Databricks（MLflow的母公司）和Weights & Biases都在往这个方向走。

---

← 上一节：21.7 CI/CD ｜ 下一节：章首 →