🧠 LLM 原理与推理优化
注意力与 KV Cache
LLM 原理与推理优化专题：用 2 个核心问题讲清原理、取舍与落地。
一句话定位
从 Transformer 到微调、量化和在线推理容量。 回答时沿着“数学机制 → 计算/显存代价 → 对 Agent 的影响”展开。
核心原理与问题解析
Multi-Head Attention 有什么作用？
多个头在不同投影子空间并行关注不同关系，再拼接映射。它增加表达能力，但不能保证每个头都有可解释语义；头数增加也会改变计算和 KV Cache 形态。
继续想： MHA、MQA、GQA 有何区别？；为什么有些注意力头可以剪枝？
KV Cache 是什么？
自回归解码时保存历史 Token 各层的 Key、Value，后续只计算新 Token，避免重复处理全部前缀。它用显存换速度，长度、层数、并发和 KV 头数都会影响占用。
继续想： 为什么 KV Cache 不缓存 Q？；GQA 如何减少 KV Cache？
工程落地检查
- 先画清输入、输出和张量/状态的变化
- 区分训练、Prefill 与 Decode
- 同时比较质量、吞吐、延迟和显存
- 用目标硬件与真实任务压测
- 模型、Tokenizer 和推理参数共同版本化
常见误区
- 只背名词，不解释为什么影响系统
- 把理论复杂度直接等同实际速度
- 只看模型榜单，不测业务任务
对应面试题
L03 Multi-Head Attention 有什么作用？ · L06 KV Cache 是什么？