推测解码草稿何时被接受?研究者为贪婪解码等场景建理论
baseten · x · 2026-10-01
Aaryam Sharma 提出推测解码接受概率的扩展理论。标准推测采样已有优雅公式:接受概率为 1 − TV(p, q);但生产系统还使用贪婪解码、宽松接受和树形接受等策略,此前只有条件描述(argmax q = argmax p)而无精确公式。该线程为这些非分布保持的接受策略构建了统一理论。
「Infra」频道最新
- Pareto 与 Engy 达成合作，将 Bittensor SN10 推理优化输出给第三方客户 — markjeffrey · 2026-10-01
- Respan 发布 Span-01 模型路由器：比单模型省 37% 成本 — ycombinator · 2026-10-01
- 实测 RTX 3090 功耗可降至 120W,推理省电又降温 — QuixiAI · 2026-10-01
- AI 当编译器：模型直出 PTX 汇编，FlashAttention 提速 1.37x — Azaliamirh · 2026-10-01
- Dell 首批 Vera Rubin NVL72 整机架系统量产出货 — yenkel · 2026-10-01
- 芝浦工大 Ozaki Scheme II 入选 CUDA 13.4,用低精度算力跑高精度计算 — udmrzn · 2026-10-01