评测与安全面试题（V01–V20）
20 道统计评测、Judge、注入、权限和红队题。
先给可验证指标，再说明攻击面与系统控制。
建议先口答 60～90 秒，再展开【追问问题】。不要背句子，要说清判断依据和取舍。
V01｜Outcome Eval 与 Trajectory Eval 有何区别？
简明答案： Outcome 看最终环境结果，Trajectory 看过程中的工具、参数、顺序、越权和冗余。结果优先，但危险捷径、成本和不可重复行为需要轨迹评测补充。
【追问问题】
- 轨迹不同但正确怎么算？
- 哪些节点必须命中？
关联知识： 轨迹与结果评测
V02｜pass@k 与 pass^k 有何区别？
简明答案： pass@k 表示多次尝试中至少一次成功，衡量可通过重试找到答案；pass^k 表示连续 k 次都成功，衡量可靠性。生产自动化更关心后者和单次成功率。
【追问问题】
- 为什么高 pass@5 可能不可用？
- 如何估计置信区间？
关联知识： 可靠性与统计评测
V03｜LLM-as-a-Judge 有哪些偏差？
简明答案： 可能有位置、长度、风格、自我偏好和提示敏感性。要用明确 Rubric、随机交换顺序、固定版本、多评审和人工校准，能程序验证的不用 Judge。
【追问问题】
- 如何测与人工一致性？
- 成对比较还是打分？
关联知识： LLM Judge 校准
V04｜如何构建 Agent 黄金评测集？
简明答案： 从高频、关键、边界、对抗和历史失败中分层抽样，保存初始环境、工具版本、期望结果和 Rubric；开发集与盲测集分离。
【追问问题】
- 多少条才够？
- 线上样本怎样脱敏？
关联知识： 评测数据与 Grader
V05｜非确定系统如何判断回归？
简明答案： 固定版本后多次运行，比较成功率、分位数、失败类型和置信区间，不以单个案例或完整字符串判断。高风险指标设零容忍门槛。
【追问问题】
- 每题跑几次？
- 成本太高怎么办？
关联知识： 可靠性与统计评测
V06｜如何做在线评测？
简明答案： 监控业务成功、用户纠错、人工接管、隐式行为、成本与安全，并对样本分层抽检。在线信号有偏，需要和离线黄金集及人工审核结合。
【追问问题】
- 点赞率有什么偏差？
- 如何安全做 A/B？
关联知识： 线上评测与反馈闭环
V07｜如何做错误分类？
简明答案： 按理解、规划、检索、工具选择、参数、执行、记忆、生成、权限、终止和验证分类，并允许主因/次因。每类绑定可观测证据和负责人。
【追问问题】
- 一个错误跨多层怎么记？
- 分类体系多久更新？
关联知识： 失败分类与根因分析
V08｜Prompt Injection 与 Jailbreak 有何区别？
简明答案： Jailbreak 通常直接诱导模型绕过内容规则，Prompt Injection 更广，尤其利用外部数据影响 Agent 指令和工具行为。Agent 场景重点是权限和数据外传。
【追问问题】
- 间接注入是什么？
- 内容安全模型能解决吗？
关联知识： Prompt Injection
V09｜什么是 Excessive Agency？
简明答案： 系统给模型过多功能、权限或自治，导致错误或注入造成更大影响。治理包括最小功能、最小权限、最小自治、审批和可撤销。
【追问问题】
- 与输出处理不安全有何区别？
- 如何量化权限面？
关联知识： 最小权限
V10｜什么是间接 Prompt Injection？
简明答案： 恶意指令藏在 Agent 读取的网页、邮件、文件或工具结果中，攻击者无需直接对话。外部内容必须当数据，权限和目的地由系统校验。
【追问问题】
- RAG 文档会被投毒吗？
- 浏览器 Agent 如何防？
关联知识： Prompt Injection
V11｜为什么输入输出 Guardrail 不够？
简明答案： 危险常发生在工具调用中间，最终输出可能看似正常。需要在工具前后、每个权限边界和数据出口检查，并由确定性授权系统兜底。
【追问问题】
- Handoff 后 Guardrail 还生效吗？
- 如何测试漏检？
关联知识： 最小权限
V12｜如何防止敏感数据外传？
简明答案： 按数据分类限制哪些内容可进入哪些工具和域名，参数与收件人校验，网络 egress 白名单，输出 DLP 与审批，并记录数据流向。
【追问问题】
- Base64 能绕过检测吗？
- 日志本身如何保护？
关联知识： 数据外传与 DLP
V13｜如何做 Agent 红队测试？
简明答案： 覆盖直接/间接注入、越权、工具链组合、恶意文件、记忆投毒、跨租户、结果伪造和资源耗尽；在沙箱中自动运行并保存 Trace。
【追问问题】
- 成功判定是什么？
- 如何把攻击样本变成回归集？
关联知识： Agent 红队与威胁建模
V14｜如何做威胁建模？
简明答案： 列出资产、身份、信任边界、输入来源、工具副作用和数据出口，再分析攻击路径与控制。重点不是模型是否聪明，而是失败后的最大影响。
【追问问题】
- STRIDE 能直接用吗？
- MCP Server 放在哪个边界？
关联知识： Agent 红队与威胁建模
V15｜多 Agent 安全为什么更难？
简明答案： 更多身份、消息、Handoff 和工具扩大攻击面，恶意或被污染的 Agent 可传播指令和数据。必须最小共享、重新授权、消息签名/来源和端到端审计。
【追问问题】
- 子 Agent 可继承主权限吗？
- 如何隔离第三方 Agent？
关联知识： 多 Agent 安全
V16｜如何处理模型供应商故障？
简明答案： 按错误类型启用退避、熔断、备用模型、只读模板或人工；状态可恢复，降级模型的 Schema 与安全能力需预先评测。
【追问问题】
- 限流与超时怎么区分？
- 何时停止自动重试？
关联知识： 容灾、限流与降级
V17｜如何验证引用真的支持主张？
简明答案： 把回答拆成可核验主张，映射到具体来源片段，检查蕴含和定位；自动 Judge 需人工校准，关键事实可要求双来源或规则验证。
【追问问题】
- 引用存在但不相关怎么算？
- 网页更新后如何复现？
关联知识： 引用与事实核验
V18｜如何评测拒答能力？
简明答案： 同时测该拒时拒、该答时答，计算安全拒答率、误拒率和危险放行率；覆盖对抗改写和多轮诱导，不能只测明显关键词。
【追问问题】
- 安全与可用性如何权衡？
- 灰区由谁定义？
关联知识： 拒答、澄清与不确定性
V19｜如何避免评测数据污染？
简明答案： 记录数据来源和时间，使用新生成或私有任务，保留盲测集，检查模型是否复述参考答案。动态真实环境基准比静态公开题更抗污染。
【追问问题】
- 公开 benchmark 还能用吗？
- 怎样做周期刷新？
关联知识： 评测数据与 Grader
V20｜安全事件发生后怎样响应？
简明答案： 立即限制工具和数据出口、保全 Trace、撤销凭据、评估影响与通知责任人；修复后把攻击链转成自动回归并检查相似入口。
【追问问题】
- 是否应删除日志？
- 如何恢复被污染记忆？
关联知识： 安全事件响应