投机解码新招 SwitchSD 入选 NeurIPS:用隐藏状态决定何时直接抄上下文
arankomatsuzaki · x · 2026-09-30
royeisenstadt 宣布其论文 SwitchSD 被 NeurIPS 2026 接收。SwitchSD 是一种投机解码方法:利用目标模型(hidden states)判断当前该跑神经 draft 模型,还是直接从上下文中复制 token,从而在两种草稿策略间动态切换,减少不必要的 draft 模型调用。作者以长文形式讲述了研究过程,细节见原推链接。
「Infra」频道最新
- 黄仁勋：AI 数据中心年增 10-20GW，创造约百万岗位 — victor_explore · 2026-09-30
- 首届 SGLang Summit 定档 11 月:英特尔 CEO 与 Karpathy 级阵容齐聚 — BanghuaZ · 2026-09-30
- OpenAI 自研芯片负责人 Richard Ho 访谈上线 — bookwormengr · 2026-09-30
- Tenstorrent 开放生物模型训练:Blackhole Galaxy 性能接近 DGX H200,成本仅四分之一 — MoAlQuraishi · 2026-09-30
- 端侧推理正当时:隐私、延迟、成本与续航把 AI 推向 NPU — lmoroney · 2026-09-30
- Cognition 率先用上 Vera Rubin NVL72,Devin 训练吞吐量提升 4.8 倍 — nordicinst · 2026-09-30