⚙️ Agent LLMOps 与面试实战
模型网关与路由
Agent LLMOps 与面试实战专题：用 2 个核心问题讲清原理、取舍与落地。
一句话定位
SLO、队列、幂等、容灾、网关、预算、CI/CD 和项目表达。 以一次业务任务而非一次模型请求为运维单位，覆盖在途状态、外部副作用和人工节点。
核心原理与问题解析
如何做模型网关？
统一供应商适配、认证、路由、超时、重试、配额、缓存、日志、成本和数据策略，对上提供稳定接口。业务层仍决定任务级模型策略。
继续想： 网关会隐藏供应商特性吗？；如何透传 Trace？
如何做模型 Fallback？
先区分限流、超时、内容拒绝、Schema 不兼容和质量不足，再选择同模型重试、备用模型、降级流程或人工。备用路径必须预先评测。
继续想： 不同 tokenizer 如何计费？；何时不能切供应商？
工程落地检查
- 定义任务成功率、P95/P99 和成本 SLO
- 长任务使用队列、租约与 Checkpoint
- 写操作使用幂等、Saga 和对账
- 灰度比较质量、安全、延迟与成本
- Runbook 明确止损、降级、恢复和责任人
常见误区
- 接口 200 就当任务成功
- 重试没有总预算和幂等
- 只监控模型，不监控工具、队列和业务结果
对应面试题
O10 如何做模型网关？ · O11 如何做模型 Fallback？