21.1 模型怎么变成服务

本地部署：FastAPI + Docker

训练完的模型是一个文件（几十 MB 到几十 GB）。用户不能直接”打开文件”使用——需要把它变成一个 API 服务（API 即应用程序接口，让其他程序可以通过网络发送请求、获取结果——就像餐厅的菜单：你按格式点菜，厨房按格式出菜）。

FastAPI：三行代码变 API

FastAPI 是 Python 里最流行的 API 框架之一——写几行代码就能把 Python 函数变成网络接口。下面这段代码用到了四个工具：

• FastAPI：把函数变成 Web API 的框架
• pydantic：定义请求/响应的数据格式（确保用户发来的数据符合预期）
• transformers：HuggingFace 出品的模型库（详见 Ch10），提供了几乎所有开源模型的加载接口
• pipeline：transformers 库里的高层 API——一行代码加载模型+分词器，直接调用

from fastapi import FastAPI
from pydantic import BaseModel
from transformers import pipeline

app = FastAPI()
model = pipeline("text-classification", model="./my_model")

class Request(BaseModel):
    text: str

@app.post("/predict")
def predict(req: Request):
    result = model(req.text)
    return {"label": result[0]["label"], "score": result[0]["score"]}

三行核心代码，模型变成 HTTP API（通过 HTTP 协议访问的接口——用户发一个网络请求到你的服务器地址，模型处理完返回结果）。uvicorn app:app 启动。

Docker：随处可跑的”集装箱”

FastAPI 在你的电脑上能跑，换一台电脑可能跑不了——Python 版本不对、依赖冲突。Docker 解决这个问题：Docker 是一个”容器”工具——把代码、模型、Python 环境、所有依赖全打包进一个标准化箱子，箱子到哪都能直接运行（就像搬家时把所有东西装进集装箱，不需要关心目的地的房子长什么样）。¹

FROM python:3.10
COPY . /app
RUN pip install -r requirements.txt
CMD ["uvicorn", "app:app", "--host", "0.0.0.0"]

构建镜像：docker build -t my-model-api . 启动容器：docker run -p 8000:8000 my-model-api

模型 API 已经在 http://localhost:8000 运行，任何能访问这台机器的程序都可以调用你的模型。

云部署：不用自己买 GPU

自己买 GPU 服务器太贵（一台 A100 服务器售价约 10-20 万元人民币，还要配机房、散热、运维）。云服务商提供了更经济的选择：

传统云平台（托管式 ML 服务）

这三家是 2025-2026 年主流的云 ML 平台：

• AWS SageMaker：亚马逊的机器学习平台，训练+部署一站式。内置了 Jupyter Notebook、自动超参数搜索、模型监控。适合已经在 AWS 生态里的团队。²
• GCP Vertex AI：谷歌云的 AI 平台，和 Gemini 模型同生态。优势在于 TPU 支持（谷歌自研的 AI 加速芯片）和 AutoML 能力。适合用 TensorFlow/JAX 的团队。³
• Azure ML：微软的机器学习服务，和 OpenAI 深度集成。如果你用 Azure OpenAI Service 调用 GPT 系列模型，Azure ML 是最自然的模型管理平台。⁴

这三个平台的共同特征：你可以上传自己的模型（或者用它们自动训练），它们帮你处理服务器管理、弹性伸缩、日志和监控。按使用量（GPU 小时 + 存储 + 网络）付费。

推理即服务（Inference-as-a-Service）

2025-2026 年出现了一类更”懒”的选择：你只需要把模型文件上传，平台负责运行、伸缩、计费。你完全不用管服务器。⁵

• Together AI：擅长开源模型的推理加速，支持 Llama、Qwen、Mistral 等主流开源模型。价格透明，按 token 计费。
• Fireworks：专注企业级 LLM 推理，提供更细粒度的 API 控制（比如指定模型版本、调整推理参数）。和 LangChain/LlamaIndex 有良好集成。
• Groq：使用自研的 LPU（Language Processing Unit）芯片做推理加速，在 Llama 系列模型上的速度达到每秒数百 token，适合需要低延迟的实时场景。

这三家适合不想折腾基础设施的团队——上传模型（或选择它们已经托管的热门模型），拿到一个 API 端点，按调用量付费。

选择建议

← 上一节：章首 ｜ 下一节：21.2 MLOps成熟度模型 →