只保留连续接受前缀:一次验证最多提交 k+1 个 token
cneuralnetwork · x · 2026-10-22
系列第七部分讲接受规则:
- 只保留连续被接受的前缀:若草稿生成 4 个 token、目标接受前 3 个而拒绝第 4 个,则保留这 3 个,从修正分布中为第 4 个采样替换 token,丢弃其后所有候选;
- 若 k 个全部接受,还可以额外从目标的下一 token 分布多采 1 个;
- 因此目标模型的一次前向最多可提交 k+1 个 token。
所属事件:投机解码系列：接受规则与草稿模型的加速权衡(2 条相关)→
「研究」频道最新
- Recursive 用 Eureka Machine 自动造模型,Flint 编程成绩惊艳 — _rockt · 2026-10-22
- Thinking Machines 推出 StableReinforce,解决 off-policy RL 突然崩溃 — LiTianleli · 2026-10-22
- Kaggle 5 万美元征集「正方形装正方形」解法:1000 道题仅 59 题有最优解 — MeganRisdal · 2026-10-22
- RAX 用冻结 LLM 驱动机器人：纯探索零示范，成本仅 Opus 的 1/20 — du_yilun · 2026-10-22
- 视觉表征学习与生成建模走向统一:一篇持续更新的综述梳理四阶段融合 — AllThingsApx · 2026-10-22
- arXiv 新论文:神经元的「海岸线悖论」——测量精度决定计算结构 — tyrell_turing · 2026-10-22