🧠 LLM 原理与推理优化

推理与显存优化

LLM 原理与推理优化专题：用 3 个核心问题讲清原理、取舍与落地。

最后更新：2026年9月9日Markdown 知识文档

一句话定位

从 Transformer 到微调、量化和在线推理容量。回答时沿着“数学机制 → 计算/显存代价 → 对 Agent 的影响”展开。

它不改变注意力数学结果，而是用分块与在线 Softmax 减少 HBM 和片上 SRAM 之间的数据搬运，避免物化完整注意力矩阵。重点是 IO 感知，不是近似注意力。

继续想： 它是否改变 O(n²) 计算复杂度？；为什么实际墙钟时间能明显下降？

它借鉴操作系统分页管理 KV Cache，把逻辑连续序列映射到非连续显存块，减少碎片并支持共享前缀，从而提高并发服务利用率。它优化的是服务内存管理，不改变模型权重。

继续想： 它与 FlashAttention 有何区别？；为什么对高并发重要？

小模型先草拟多个 Token，大模型并行验证并接受正确前缀，以减少大模型串行解码步数。输出分布可保持一致，但收益取决于草稿接受率和额外验证成本。

继续想： 接受率受什么影响？；何时反而更慢？