评测数据集、Grader 与回归体系

每条样本应包含输入、环境初始状态、可用工具、期望结果或 Rubric、风险标签和失败类型，覆盖正常、边界、对抗、工具异常和长任务。

Grader 组合

• 程序：Schema、数值、测试、数据库或 API 状态；
• 检索：Recall@K、MRR、nDCG；
• 人工：正确、完整、清楚、风险；
• 模型：语义质量，但需固定版本并经人工校准。

训练/调试集与最终测试集分离，记录来源和时间防止污染。线上失败按类别抽样回流，但不要让测试集只包含历史问题。每次发布同时比较质量、成本和延迟。

关联面试题： S08 评测平台 · T13 线上线下差异 · T14 Judge 不稳