Orthrus 研究揭示:无损投机解码仅在高数值精度下成立
Ilya Koziev · hf · 2026-09-15
HF 上的一项研究探讨投机解码的「无损」在真实意义上是否成立。结论是:Orthrus 的投机解码只有在高数值精度下才能做到真正的无损;在 BF16 低精度下会出现轨迹发散,但实验显示这种发散并未损害下游基准成绩。这提示「无损」的定义与数值精度密切相关,实际部署中需注意精度选择。
「Infra」频道最新
- 实测发现次正规浮点数拖慢性能的问题几乎仅存在于 Intel 处理器 — lemire · 2026-09-15
- 博主称 LLM 推理工程师将是未来最难被 AI 取代的岗位 — ashishllm · 2026-09-15
- SGLang 携手三星发白皮书:同 GPU 延迟降 3.1 倍 — ying11231 · 2026-09-15
- Weaviate v1.38 推出 Boost:不删结果也能调排序 — victorialslocum · 2026-09-15
- 开发者在 Android 手机上本地跑通 ACE Step 1.5 音乐生成 — sgcego · 2026-09-15
- VMware 私有 AI 云评 9.1 分居首,数千企业可平滑引入 AI — DavidLinthicum · 2026-09-15