ProVe 反转投机解码角色:大模型提块小模型验证,提速 2.5-2.7×
Ziqi Jin · hf · 2026-11-03
论文提出 ProVe（Proposer-Verifier Decoding），反转传统投机解码的角色：从标准自回归 checkpoint 出发，微调大模型使其一次前向传播预测一整块未来 token，再用一次额外前向传播验证该块。验证器可以是更小的自回归模型，也可以是提出者本身（ProVe-lossless，可复现贪婪 AR 解码）。
关键结果：
- 块大小 16 时，GSM8K 上提出块的平均 AR 匹配前缀达 6.6 tokens
- 32B 提出者 + ProVe-lossless：六个基准平均 2.5× AR 吞吐，且无需训练独立 draft head
- 3B 验证器版本达 2.7× 平均吞吐，精度仅低 2.6 个百分点，速度-精度可调
「Infra」频道最新
- 研究者在推进太空分布式训练，太空数据中心话题持续升温 — MillionInt · 2026-11-03
- 马斯克算账：太空散热铝板每平米可达 1300 瓦，太空数据中心可行 — elonmusk · 2026-11-03
- Gap 用 Mac mini 集群跑防损 AI,登上苹果 Q4 财报电话会 — akumar · 2026-11-03
- 单张 GPU 时薪已超美国最低工资,算力是否被严重低估定价 — blelbach · 2026-11-03
- 硅谷投资人:推理工程是当下最赚钱、杠杆最高的专精技能 — AccBalanced · 2026-11-03
- 苹果高管:内存涨价无尽头,采购义务单季激增330亿美元 — firstadopter · 2026-11-03