三篇论文同指一方向:循环复用层而非加深参数,让掩码模型更高效
LucaAmb · x · 2026-09-05
diffusionllms 账号梳理了三篇方向趋同的研究:掩码/扩散语言模型不必靠加大参数变强,而可以在推理时「花深度」——复用计算来获得更深的等效网络。要点:
- LoopMDM:在每步推理中选择性循环复用 transformer 的早中层;训练时循环可产生深度扩展效应,推理时调节循环次数即可弹性扩展算力。以最多 3.3 倍更少的训练 FLOPs 匹敌同尺寸 MDM,GSM8K 上最高提升 +8.5 分。
- 另外两篇(R-MDM 等)从不同角度得出同一洞见:把「深度」从训练时固定属性变成推理时可购买的资源。
andreamiele 预告将在周一讨论 dLLM 与 Looping 结合的方向。
所属事件:三篇论文同证:循环复用算力可让掩码模型不加深不增参(2 条相关)→
「模型」频道最新
- 本地模型跑分乱象引吐槽:数字飙高却无配置可复现 — TheZachMueller · 2026-10-23
- 用 abliterated 本地模型给智能电视去除“广告与追踪” — TheZachMueller · 2026-10-23
- 实测称 Claude $200 档订阅价值达 API 价格 45.3 倍 — RexDouglass · 2026-10-23
- 用户实测:GPT-6.1 Sol 不适合长任务策略研究 — RexDouglass · 2026-10-23
- Dexmal 开源 VLA 模型 DM0.5 登陆 LeRobot,登顶 RoboColiseum — AdinaYakup · 2026-10-23
- Gemini 隐藏开关:开启 agentic 视频理解,token 消耗降约 90% — patloeber · 2026-10-23