从第一性原理搞懂 LLM decode 的 4 篇必读清单
CatAstro_Piyush · x · 2026-11-21
一份学习 LLM 解码(decode)底层原理的 4 篇经典读物清单:
- kipply 的 Transformer Inference Arithmetic——不用实验和复杂数学,仅凭少量原理推导就能很好拟合推理延迟的实测结果,覆盖 KV cache、容量、张量并行、batch size、FLOPS 计数、激活内存成本等,并与 Nvidia FasterTransformer 基准对比。
- Flash-Decoding(Tri Dao 等)。
- PyTorch gpt-fast 官方写法的工程复盘。
- 投机解码(speculative decoding)原始论文。
适合想从算术层面真正理解推理性能瓶颈(内存带宽、KV cache 权衡、并行通信开销)的工程师。
「Infra」频道最新
- NVIDIA GTC 华盛顿 12 月 1 日议程出炉:基建、开源模型与物理 AI 四场重磅 — nvidia · 2026-11-21
- KV cache 读便宜是秘密:200 美元订阅等于 1.4 万美元 API 用量仍能赚钱 — rachittshah · 2026-11-21
- Baseten拆解AI时代安全威胁模型:agent集群分钟级窃数据 — baseten · 2026-11-21
- 投资人称英伟达算力兜底不可怕:至少三家竞品正争夺「AI 央行」 — GavinSBaker · 2026-11-21
- 实测 11 个开源模型新注意力架构:128K 上下文显存最高省 139 倍 — bariskasikci · 2026-11-21
- Anthropic 已递交纳斯达克上市申请,博主劝你先在本地存一个开源模型 — alex_verem · 2026-11-21