用小模型当裁判挑选投机解码草稿可行吗
Aggravating-Push-207 · reddit · 2026-10-09
Reddit 用户提出一个投机解码（speculative decoding）的变体思路：让目标模型先生成前缀 A B C，同时准备多份候选草稿（draft 1: D E F、draft 2: G H I、draft 3: J K L），再用一个可本地高速运行的小模型（'Jev 模型的平替'）来判断哪份草稿最好，替代传统固定 draft model 的验证流程。
这属于投机解码中的多草稿（multi-draft）验证方向，社区已有 Medusa、EAGLE 等相关工作可供参考。
「Infra」频道最新
- Emad Mostaque:OpenAI 解 Navier-Stokes 花掉千万美元算力 — rohanpaul_ai · 2026-10-09
- 英国量子计算公司 Universal Quantum 融资超 1 亿美元创行业纪录 — hardimanjames · 2026-10-09
- 得州数据中心审批队列18个月从63GW飙至474GW后冻结 — elonmusk · 2026-10-09
- 内存股定价揭示:市场押注的下行周期比历史深2-3倍 — BenBajarin · 2026-10-09
- Meta KernelAgent 多智能体调优 Triton 内核，最高提速 2.02x — PyTorch · 2026-10-09
- 月付 500 美元 API 账单逼人自建:Mac Studio 对决双 DGX Spark — rodrigodevbits · 2026-10-09