故障排查与框架题（T01–T20）
20 道真实故障题，训练证据驱动的定位方法。
先定位失败层，再给验证和修复；不要一上来就换模型。
建议先口答 60～90 秒，再展开【追问问题】。不要背句子，要说清判断依据和取舍。
T01｜Agent 重复调用同一工具，怎么排查？
简明答案： 看 Trace 的输入状态、工具结果和停止条件。常见是结果格式不清、状态未更新、目标不可判定或错误被吞。修复 Schema、动作历史、重复检测和成功判定。
【追问问题】
- 只加 max_steps 有何不足？
- 如何区分重试与死循环？
关联知识： 运行循环与状态
T02｜检索正确但答案错误，怎么办？
简明答案： 多半是生成或上下文组织问题。检查正确片段是否截断、靠后或与冲突证据混合，以及提示是否要求引用和拒答；单独测给定证据回答能力。
【追问问题】
- 如何做忠实度评分？
- 换模型前先做什么？
关联知识： RAG 质量排查
T03｜RAG 完全召回不到答案，怎么排查？
简明答案： 从数据是否入库、解析是否丢失、Chunk 是否破坏语义、查询改写是否错误、权限过滤是否误杀开始，再比较不同检索的 Recall@K。
【追问问题】
- 如何构造最小复现？
- 更换 Embedding 后要做什么？
关联知识： RAG 质量排查
T04｜模型总选错工具，怎么办？
简明答案： 减少同义或重叠工具，明确名称、适用条件和反例，收紧 Schema，只暴露当前候选。用选择混淆矩阵评测，而非继续堆提示词。
【追问问题】
- 工具合并还是拆分？
- 少样例提示何时有效？
关联知识： 工具设计
T05｜工具参数经常缺字段，怎么办？
简明答案： 把必填、枚举、格式和互斥条件写进 Schema；执行前验证并返回字段级错误。关键业务字段从可信应用状态注入，不让模型生成。
【追问问题】
- 默认值何时危险？
- 结构化输出能否完全解决？
关联知识： Function Calling
T06｜上线后成本突然升高，怎么查？
简明答案： 按版本和任务比较轮数、Token、工具数、缓存命中和重试。常见是上下文膨胀、循环、路由变化、知识片段变长或重试风暴。
【追问问题】
- 应设置哪些告警？
- 如何紧急止损？
关联知识： 成本与性能
T07｜P95 高但平均延迟正常，怎么查？
简明答案： 用 Trace 拆尾部请求，定位慢模型、慢工具、队列、最慢并行分支和重试。设置每阶段 deadline，取消非关键分支或返回部分结果。
【追问问题】
- 只看平均值为何危险？
- Hedging request 有何代价？
关联知识： 可观测性
T08｜多 Agent 争论不结束，怎么办？
简明答案： 明确角色输入输出和决策权，限制回合，指定最终负责人和可验证终止条件。若只是互相检查，改成生成者—评审者固定工作流更稳。
【追问问题】
- 多数投票可靠吗？
- 何时退回单 Agent？
关联知识： 多 Agent 设计
T09｜摘要压缩后忘了关键约束，怎么办？
简明答案： 把不可丢失字段移入结构化状态；为摘要定义保留清单和回归样本，保存原始内容引用，冲突时回查。
【追问问题】
- 哪些信息必须结构化？
- 如何评测摘要保真？
关联知识： 上下文工程
T10｜长期记忆写入错误信息，怎么办？
简明答案： 记忆带来源、时间、置信度和版本。支持纠正、冲突、过期和删除；高影响事实写前确认，读取优先可信新证据。
【追问问题】
- 自动写入阈值怎么定？
- 删除后缓存如何同步？
关联知识： Agent 记忆系统
T11｜批准后动作执行两次，原因是什么？
简明答案： 恢复、消息重复或超时重试没有幂等。审批应绑定动作摘要与幂等键，执行端原子检查状态，只允许 approved 到 executing 一次。
【追问问题】
- 审批内容被修改怎么办？
- 至少一次投递如何处理？
关联知识： 持久化与人工介入
T12｜MCP Server 返回恶意指令怎么办？
简明答案： 把 Server 输出当不可信数据。限制工具与资源范围，校验参数和输出，敏感动作审批，并审计 Server 来源、版本与权限。
【追问问题】
- 工具描述也可能污染吗？
- 如何隔离第三方 Server？
关联知识： 隐私与供应链
T13｜离线评测很好，线上很差，为什么？
简明答案： 检查数据分布、真实工具错误、延迟、权限、用户表达和评测污染。离线集可能太干净或评分器偏置；应分层抽样线上失败回流。
【追问问题】
- 如何发现数据泄漏？
- 线上线下指标如何对齐？
关联知识： 评测数据与 Grader
T14｜LLM-as-a-Judge 分数不稳定，怎么办？
简明答案： 使用明确 Rubric、结构化输出、固定模型版本；关键任务多次评分或双评审，并以人工校准。能程序验证的指标不要交给模型。
【追问问题】
- 位置偏差怎么控制？
- 如何测与人工一致性？
关联知识： 评测数据与 Grader
T15｜Agent 泄露系统提示，怎么处理？
简明答案： 系统提示不应存真正秘密。检查范围并撤销可能暴露的凭据，增加数据分级；根治依赖密钥隔离、最小权限和不把敏感数据送入模型。
【追问问题】
- 拒绝复述能否解决？
- Trace 中提示如何保护？
关联知识： 隐私与供应链
T16｜框架升级后行为回归，怎么办？
简明答案： 锁定依赖并跑 Trace 级回归，比较消息格式、工具 Schema、状态序列化和默认终止。框架层做适配封装，升级先灰度。
【追问问题】
- 哪些接口易破坏？
- 如何降低锁定？
关联知识： 框架选型地图
T17｜模型升级后成功率下降，怎么办？
简明答案： 恢复旧模型基线，固定其余变量做对照；检查指令、工具选择、Schema、采样和上下文差异。针对新模型调 Prompt 并用评测验证。
【追问问题】
- 模型与 Prompt 为何成对版本化？
- 什么时候回滚？
关联知识： 模型选型
T18｜并行工具结果互相矛盾，怎么办？
简明答案： 保留来源、时间和置信度，先统一口径；用规则或汇总步骤标冲突，追加权威来源或转人工，不让模型暗自选择。
【追问问题】
- 多数结果更可信吗？
- 如何设计来源优先级？
关联知识： 工作流模式
T19｜Agent 声称完成但实际没完成，怎么办？
简明答案： 把完成定义成可验证环境状态，如订单状态、文件存在、测试通过或 API 回执。模型的自然语言声明不能作为成功判定。
【追问问题】
- 验证工具失败怎么办？
- 如何表示部分完成？
关联知识： Agent 评测
T20｜如何选择主流 Agent 框架？
简明答案： 按图状态机与持久化、轻量工具/交接、云生态、多 Agent 消息运行时或角色化开发等需求筛选。用同一小用例比较控制、调试、评测、部署和团队成本。
【追问问题】
- 何时不用框架？
- 迁移成本如何评估？
关联知识： 框架选型地图