🔤 LLM 必备基础
模型选型：能力、成本与延迟
用评测而不是榜单选择模型，并设计路由与降级。
五个维度
- 任务成功率与稳定性；
- 工具调用和结构化输出能力；
- 上下文、模态与语言支持；
- P50/P95 延迟、吞吐与限流；
- 每个成功任务总成本与合规要求。
不要只比较 Token 单价。便宜模型若需要更多轮次和重试，总成本可能更高。
常见路由是：小模型做分类、抽取；强模型做复杂规划与综合；专用模型处理语音、视觉或 Embedding。失败后按错误类型重试、升级、降级只读或转人工。
模型升级不是只改名字。固定评测集与其余变量做对照，再针对新模型调优并灰度。
关联面试题： E12 降成本 · E16 模型路由 · T17 模型回归
官方资料： OpenAI Responses API