连续比特流扩散逼近自回归模型,作者称其将是下一个大方向
LucaAmb · x · 2026-11-01
Luca Ambrogioni 宣布与 Sander Dieleman 合作发布论文《Towards Closing the Autoregressive Gap in Language Modeling via Entropy-Gated Continuous Bitstream Diffusion》,并直言对 bitstream diffusion「越来越看好,它会成为下一个大事件」。
- 核心结论:让连续扩散模型直接在比特流上运行,在语言建模上可取得很强性能,优于 masked diffusion 和 uniform diffusion 基线
- 在其实验设置下基本追平自回归模型,显著缩小了扩散式语言模型与 AR 范式之间的差距
- 方法引入熵门控机制来调控连续比特流的去噪过程(细节见论文)
「模型」频道最新
- 英文提问却生成中文标题，Reddit 热议 OpenAI 管线疑用中国开源模型 — Frequent-Pen-9898 · 2026-11-01
- 开发者用 ChatGPT 做演示幻灯片，称其视觉生成明显更好 — m_wulfmeier · 2026-11-01
- 「硬件烂+云模型上瘾」不冲突：开发者用 Claude 调度手机本地模型跑 Stable Diffusion — copenhagen_bram · 2026-11-01
- Gemini 4 Argon 实战定位：视觉理解第 1，SWE-Bench Pro 第 2，金融推理仅第 11 — Hrstar1 · 2026-11-01
- 清华团队发现混合架构「竞争学习」：冻结循环层让注意力学会检索 — ChengleiSi · 2026-11-01
- ChatGPT 与 Sora 额度合并：图片生成将消耗聊天限额 — Alternative-Car8221 · 2026-11-01