🧠 LLM 原理与推理优化
采样、停止与输出控制
LLM 原理与推理优化专题：用 1 个核心问题讲清原理、取舍与落地。
一句话定位
从 Transformer 到微调、量化和在线推理容量。 回答时沿着“数学机制 → 计算/显存代价 → 对 Agent 的影响”展开。
核心原理与问题解析
Temperature、top-p 和 top-k 如何作用？
它们控制从概率分布采样的范围和随机度。温度缩放 logits，top-p 保留累计概率集合，top-k 限制候选数量；不同模型/API 支持不同，不能机械套参数。
继续想： 结构化任务如何设置？；为什么同参数仍不完全复现？
工程落地检查
- 先画清输入、输出和张量/状态的变化
- 区分训练、Prefill 与 Decode
- 同时比较质量、吞吐、延迟和显存
- 用目标硬件与真实任务压测
- 模型、Tokenizer 和推理参数共同版本化
常见误区
- 只背名词，不解释为什么影响系统
- 把理论复杂度直接等同实际速度
- 只看模型榜单，不测业务任务
对应面试题
L16 Temperature、top-p 和 top-k 如何作用？