投机解码两次演进：从稠密小批量提速到 MoE 算力强度救星
chain_rules · x · 2026-09-11
一段关于投机解码（speculative decoding）角色演变的技术讨论。
- 起点：投机解码最初用于稠密模型在小 batch size 下提速，以吞吐量换取单请求延迟。
- 第一次演进：在长上下文全注意力场景中，投机解码能提高计算强度（arithmetic intensity），做到既提速又增吞吐。
- 第二次演进：稀疏注意力使 batch size 受容量限制、MoE 的计算强度极低，投机解码此时能补足 MoE 的算力利用率，同样兼顾提速与吞吐。
回复中有人追问这两次演进是否分别对应 Tri Dao 等人的论文与 DSpark 的工作。
所属事件:投机解码两次演进：从稠密提速到 MoE 算力强度救星(2 条相关)→
「Infra」频道最新
- Anthropic S-1：4300 亿美元算力合同不可取消，超过中国全年军费 — Hesamation · 2026-10-27
- Tenstorrent 融资 15 亿美元，估值 62 亿较去年翻倍以上 — Beth_Kindig · 2026-10-27
- Anthropic 拟向 SpaceX 采购 1205 亿美元算力,满载后月付约 31 亿 — XFreeze · 2026-10-27
- 恶搞：用 JEV 决策模型替换 Raft 共识，写入吞吐暴跌 99.98% — irombie · 2026-10-27
- Cadence 进入领域专用 AI 模型赛道,芯片设计自动化再加码 — karlfreund · 2026-10-27
- Qdrant 自研 Universal I/O:向量库 mmap 无缝迁移到对象存储 — qdrant_engine · 2026-10-27