🧠 LLM 原理与推理优化
LLM 推理过程
LLM 原理与推理优化专题：用 2 个核心问题讲清原理、取舍与落地。
一句话定位
从 Transformer 到微调、量化和在线推理容量。 回答时沿着“数学机制 → 计算/显存代价 → 对 Agent 的影响”展开。
核心原理与问题解析
Decoder-only 模型如何生成文本？
先对全部输入做 Prefill，随后每次 Decode 预测下一个 Token，并把选中的 Token 追加后继续，直到停止条件。生成天然串行，因此首 Token 延迟和单 Token 延迟要分开看。
继续想： Prefill 与 Decode 哪个更吃算力？；Streaming 改善哪种体验？
Prefill 和 Decode 的性能特征有何不同？
Prefill 一次处理长输入，通常计算密集且适合大矩阵并行；Decode 每步只生成少量 Token，常受显存带宽和 KV Cache 访问限制。服务端应分别监控 TTFT 与 TPOT。
继续想： TTFT、TPOT 分别是什么？；Continuous batching 更帮助哪一段？
工程落地检查
- 先画清输入、输出和张量/状态的变化
- 区分训练、Prefill 与 Decode
- 同时比较质量、吞吐、延迟和显存
- 用目标硬件与真实任务压测
- 模型、Tokenizer 和推理参数共同版本化
常见误区
- 只背名词，不解释为什么影响系统
- 把理论复杂度直接等同实际速度
- 只看模型榜单，不测业务任务
对应面试题
L05 Decoder-only 模型如何生成文本？ · L07 Prefill 和 Decode 的性能特征有何不同？