21.2 MLOps成熟度模型

Google在2020年提出了MLOps成熟度模型，2026年仍然适用。理解你在哪个级别，能帮你决定下一步该做什么：

Level 0：手动流程

• 特征：训练脚本是手写的，参数是手动调的，部署是手动复制文件的。没有版本管理，没有实验记录，没有人能复现三个月前的模型效果。
• 典型场景：个人项目、初学者、PoC（概念验证）阶段。一个Jupyter Notebook从头跑到尾。
• 痛点：无法复现、无法协作、无法扩展。模型出问题只能靠开发者记忆来排查。

Level 1：自动化训练（ML自动化）

• 特征：训练流程脚本化，实验自动记录（MLflow/W&B），数据管道自动化。可以一键重新训练模型。
• 典型场景：小型团队，有定期重训练需求（如每周用新数据更新一次推荐模型）。
• 新增能力：实验可复现，不同实验可以对比，模型有版本号。
• 缺失：部署和监控仍然是手动的。

Level 2：CI/CD自动化

• 特征：代码提交自动触发训练、评估、部署。测试集自动评估新模型，效果好自动替换线上模型，效果差自动回滚。监控告警自动化。
• 典型场景：中型团队，有多个模型在生产环境，需要快速迭代。
• 新增能力：部署不再需要人工操作，模型更新周期从天缩短到小时。
• 缺失：数据和特征管线的自动化程度不够，数据漂移需要人工处理。

Level 3：全自动ML（AutoML级别的运维）

• 特征：自动检测数据漂移并触发重训练，自动做特征工程和超参搜索，自动A/B测试新模型，全流程不需要人工干预。
• 典型场景：大型互联网公司（Google、Meta的广告推荐系统），每天自动训练和部署数百个模型。
• 2026年的现实：即使是顶级公司，Level 3也只在部分成熟业务线上实现。大部分团队应该在Level 1-2之间。

行动建议：不要追求一步到Level 3。从Level 1开始（用MLflow记录实验），然后逐步加入CI/CD（GitHub Actions自动触发训练），最后才考虑全自动。

---

← 上一节：21.1 模型怎么变成服务 ｜ 下一节：21.3 实验管理 →