残差采样:数学上保证输出分布与目标模型完全一致
cneuralnetwork · x · 2026-10-22
系列第六部分是被作者称为「最巧妙」的一步:被拒绝后从残差分布采样:
- 定义 r(x) ∝ max(0, p(x) − q(x));
- 接受草稿 token 的概率贡献是 min(p, q),残差采样的贡献是 max(0, p−q);
- 两者相加:min(p,q) + max(0, p−q) = p,最终 token 分布严格等于目标分布 p——这正是投机解码不改变输出的数学保证。
所属事件:拒绝采样与残差采样保证输出分布不变(2 条相关)→
「研究」频道最新
- Recursive 用 Eureka Machine 自动造模型,Flint 编程成绩惊艳 — _rockt · 2026-10-22
- Thinking Machines 推出 StableReinforce,解决 off-policy RL 突然崩溃 — LiTianleli · 2026-10-22
- Kaggle 5 万美元征集「正方形装正方形」解法:1000 道题仅 59 题有最优解 — MeganRisdal · 2026-10-22
- RAX 用冻结 LLM 驱动机器人：纯探索零示范，成本仅 Opus 的 1/20 — du_yilun · 2026-10-22
- 视觉表征学习与生成建模走向统一:一篇持续更新的综述梳理四阶段融合 — AllThingsApx · 2026-10-22
- arXiv 新论文:神经元的「海岸线悖论」——测量精度决定计算结构 — tyrell_turing · 2026-10-22