三篇论文殊途同归:循环复用算力让掩码模型不加深不增参
LucaAmb · x · 2026-09-05
【转发 @jdeschena】Looped models are all the rage right now, join us on Monday for even more looping ➰➰➰
@diffusionllms 盘点了三篇方向趋同的新工作,核心洞见一致:与其加大参数量,不如复用计算,把原本在训练时固定的"深度"变成推理时可支配的资源。
- LoopMDM(选择性循环):在每个去噪步骤内反复施加 transformer 的前中部层。训练期循环带来深度扩展效应而不增加参数;推理期调节循环次数即可灵活缩放算力。与同尺寸 MDM 相比,训练 FLOPs 最多省 3.3 倍,GSM8K 最多提升 +8.5 分。
- R-MDM(递归):另一条逼近同一前沿的路线(原帖列出但未展开细节)。
作者预告周一将有更多关于 looped models 的内容。
所属事件:三篇论文同证：循环复用算力可让掩码模型不加深不增参(2 条相关)→
「研究」频道最新
- 上述扩散语言模型偏见研究上线可交互 demo,可扫全部采样组合 — Bollegala · 2026-10-23
- 扩散语言模型的偏见排名随采样配置改变,去偏后仍不稳定 — Bollegala · 2026-10-23
- Google 量子 AI 上线可验证量子线路编译 Kaggle 赛题 — JFPuget · 2026-10-23
- 聚合各实验室 tokenizer 发现约 994 个跨代稳定的通用 token — kalomaze · 2026-10-23
- 研究者让 Grok 自己写提示词，追查 X 上 LLM 驱动的阿联酋水军网络 — FlorianGallwitz · 2026-10-23
- 开发者把 Qwen3-0.6B 改造成 MoE：质量下降，0.6B 级别提速有限 — Bayliner1980 · 2026-10-23