⚙️ Agent LLMOps 与面试实战
Agent SLO 与容量
Agent LLMOps 与面试实战专题：用 2 个核心问题讲清原理、取舍与落地。
一句话定位
SLO、队列、幂等、容灾、网关、预算、CI/CD 和项目表达。 以一次业务任务而非一次模型请求为运维单位，覆盖在途状态、外部副作用和人工节点。
核心原理与问题解析
Agent 服务的 SLO 应怎么定？
按业务定义成功率、P95/P99 完成时间、可用性、安全事件和成本上限，并区分同步回答与异步任务。模型接口可用不等于任务成功。
继续想： 错误预算怎么用？；部分完成算成功吗？
如何做容量估算？
从峰值任务 QPS、每任务模型轮数、Token、工具并发、平均/尾部时长估算模型配额、Worker、队列和存储，再用压测校准。
继续想： 并行分支如何计入？；突发流量怎样吸收？
工程落地检查
- 定义任务成功率、P95/P99 和成本 SLO
- 长任务使用队列、租约与 Checkpoint
- 写操作使用幂等、Saga 和对账
- 灰度比较质量、安全、延迟与成本
- Runbook 明确止损、降级、恢复和责任人
常见误区
- 接口 200 就当任务成功
- 重试没有总预算和幂等
- 只监控模型，不监控工具、队列和业务结果
对应面试题
O01 Agent 服务的 SLO 应怎么定？ · O02 如何做容量估算？