⚙️ 工程化与评测
可观测性:Log、Metric、Trace 与故障分类
用端到端轨迹解释质量、成本与延迟。
- Log:离散事件细节;
- Metric:可聚合趋势和告警;
- Trace:一次任务跨模型、工具和服务的因果路径。
每个 Span 建议记录 trace_id、parent_id、步骤类型、模型/Prompt/工具/知识库版本、耗时、Token、费用、状态、错误类别和脱敏摘要。
关键指标包括任务成功率、P50/P95 延迟、步骤数、工具错误率、循环率、人工介入率、拒答率、安全拦截和每成功任务成本,并按任务类型与版本分组。
失败应分为理解、规划、工具选择、参数、执行、检索、生成、权限、终止和验证。没有分类的“答错率”无法指导改进。
Trace 可能含隐私与商业数据,必须最小采集、脱敏、限权和设置保留期。