一次前向算出全部条件概率,但不能盲收草稿
cneuralnetwork · x · 2026-10-22
系列第四部分:
- 把整段草稿序列喂给目标模型,借助因果掩码,目标模型一次前向即可得到每个候选 token 在正确前缀下的条件概率 p₁…pₖ;
- 问题在于:不能盲目接受草稿 token——q 和 p 是不同分布,直接照收会改变模型实际生成的分布。
所属事件:草稿模型起草候选 token 并一次前向验证(2 条相关)→
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23