⚙️ 工程化与评测
Agent 评测:结果、轨迹、工具与工程指标
建立分层指标,避免只用主观评分。
四层评测
- 结果层:任务是否真的完成,业务结果是否正确;
- 轨迹层:关键步骤是否发生,是否重复、越权或绕路;
- 组件层:路由、检索、工具选择、参数和 Guardrail;
- 工程层:延迟、Token、费用、重试、稳定性和安全事件。
评分优先级:环境执行验证 > 确定性规则 > 人工评分 > LLM-as-a-Judge。能用测试、数据库状态或 API 回执判断,就不要只让模型打分。
非确定系统应多次运行,报告均值、分位数和失败分布。结果正确时,不因轨迹与参考不同就简单判错;但越权和危险捷径必须单独扣分。
关联面试题: E08 检索评测 · E09 工具评测 · T19 假完成
基准参考: GAIA · AgentBench · SWE-bench