MBZUAI 团队:循环早期层让扩散语言模型训练省 2.8 倍 FLOPs
Saiteja Utpala · hf · 2026-10-23
MBZUAI、Sony 与 MIT 的研究者在 Hugging Face 发布论文《Looped Uniform Diffusion Language Models》。
- 均匀扩散语言模型(UDLM)训练比掩码扩散模型( MDLM)更耗 FLOPs,因其去噪时需依赖可能不可靠的上下文。
- 方法:在每个去噪步骤内循环复用少数早期 Transformer 层(selective looping),不改变训练目标或采样器。
- 结果:looped UDLM 用最多 2.8 倍更少的训练 FLOPs 即达到非 looped UDLM 在约 0.5 万亿 token 上的验证 NLL,并在 OpenWebText 等数据集上验证有效。
代码、checkpoints 与训练日志均已开源。
「研究」频道最新
- 用「抽象神经元」激活拼出嵌入向量：拼写干扰更小、向量数学更稳 — mayfer · 2026-10-23
- DeepMind 论文：模型竞拍抢答达最优路由 99.2% 效果 — rohanpaul_ai · 2026-10-23
- 斯坦福 CS329Z 开课：从零搭建 RAG、MCP、记忆到多智能体全栈 — stanfordnlp · 2026-10-23
- RL 训练 4B 模型开飞行跑车，风暴中反超 GPT-6 Astra 等前沿模型 — skypilot_org · 2026-10-23
- MATS 项目研究：模型能否通过神经反馈学会控制自身激活 — SaxenaNayan · 2026-10-23
- Carmack 指出机器人行业隐患：关节 50Hz 对视频 60Hz 的采样错位 — ID_AA_Carmack · 2026-10-23