Gumbel Straight Flow:把自回归模型蒸馏成单步流映射并行采样
sedielem · x · 2026-10-02
新方法 Gumbel Straight Flow 探索一个反向问题:自回归(语言)模型能否作为教师,来训练流映射(flow map)并行采样器?作者提出将 AR 模型蒸馏为一步 flow map,让原本需要逐 token 串行生成的过程可以并行采样,是蒸馏 + 并行解码方向的一次尝试。
「研究」频道最新
- Company Knowledge Bench:基于 1000 条真实企业查询的检索评测,7 款检索器实测 — CShorten30 · 2026-10-03
- Gacha Decoding:靠指令遵循+外部随机数,样本效率超此前方法 11 倍 — natolambert · 2026-10-03
- 新论文开篇语出惊人:智能与鹦鹉学舌的区别是计算性的 — ctjlewis · 2026-10-03
- RLE-Bench:把编码 Agent 考成机器人学习工程师的资格考 — RLE-Bench · 2026-10-03
- 蒸馏研究:KL 方向与学习率比 on-policy 更影响性能 — CambUni · 2026-10-03
- 斯坦福回顾:2018 年称自动驾驶已完成 90%,AI 如何补上最后 10% — StanfordHAI · 2026-10-03