AI 知识库首页

推理提示与可验证解释

Prompt 与上下文工程专题:用 2 个核心问题讲清原理、取舍与落地。

一句话定位

提示合同、上下文选择、结构化输出、拒答和缓存。 把 Prompt 看作任务合同,把 Context 看作运行时选择出来的信息,而非一段越长越好的文字。

核心原理与问题解析

CoT 是否应该直接展示给用户?

可以要求模型认真推理,但生产系统通常只展示简洁依据、动作和证据,不依赖或暴露私有思维链。可审计性应来自 Trace、工具结果和验证器。

继续想: 何为可验证解释?;Scratchpad 应保存吗?

Self-Consistency 的思路是什么?

对同一问题采样多条推理路径,再按答案一致性或验证器选择,适合可明确比较结果的推理题。它用额外成本换稳健性,开放生成未必有效。

继续想: 多数投票一定正确吗?;怎样控制成本?

工程落地检查

  • 明确目标、边界、成功与失败格式
  • 区分可信指令和不可信数据
  • 关键业务字段使用 Schema 校验
  • 用失败样本做单变量回归
  • 记录模板、变量、模型和工具版本

常见误区

  • 用提示词代替权限系统
  • 不断追加互相冲突的补丁规则
  • 只测漂亮样例,不测拒答和攻击样例

对应面试题

P03 CoT 是否应该直接展示给用户? · P04 Self-Consistency 的思路是什么?

延伸资料

OpenAI Prompt Engineering · Anthropic Prompt Engineering