🧠 LLM 原理与推理优化
微调与对齐方法
LLM 原理与推理优化专题：用 1 个核心问题讲清原理、取舍与落地。
一句话定位
从 Transformer 到微调、量化和在线推理容量。 回答时沿着“数学机制 → 计算/显存代价 → 对 Agent 的影响”展开。
核心原理与问题解析
SFT、RLHF、DPO 分别解决什么？
SFT 用示范学习目标行为；RLHF 通过偏好、奖励模型和强化学习优化；DPO 直接从偏好对优化策略，链路更短。它们改变模型行为，不适合替代需要实时更新事实的 RAG。
继续想： DPO 为什么不需要显式奖励模型？；数据质量对哪一步最关键？
工程落地检查
- 先画清输入、输出和张量/状态的变化
- 区分训练、Prefill 与 Decode
- 同时比较质量、吞吐、延迟和显存
- 用目标硬件与真实任务压测
- 模型、Tokenizer 和推理参数共同版本化
常见误区
- 只背名词，不解释为什么影响系统
- 把理论复杂度直接等同实际速度
- 只看模型榜单，不测业务任务