新论文揭示扩散加速机制:残差门通道利用率与生成质量强相关
serrjoa · x · 2026-11-03
arXiv 论文《No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates》重新审视 REPA 等扩散 transformer 训练加速方法的原理。
- 核心发现:加速方法的真正作用在于重组 AdaLN-Zero 残差门 α 的通路,而非仅仅来自辅助监督带来的特征结构;加速后的模型对 α 扰动明显更敏感,门几何还能反映类别间的语义关系
- 作者提出归一化参与率(nPR)刻画门的通道组织,发现在不同 REPA teacher、投影结构与目标下,门参与越广、FID 越好
- 据此提出无需 teacher 的径向目标,仅用 feature-norm 正则即可促进更广的门参与;在 ImageNet 256×256 上用 SiT-B/2 相比 dispersive loss 改善 FID 且不增加开销
所属事件:新研究揭示扩散模型加速机制：残差门控通道利用率是关键(2 条相关)→
「模型」频道最新
- 谷歌全家桶老用户痛诉：Gemini 取代助手后体验全面倒退 — alpinesteveo · 2026-11-03
- Ethan Mollick 算账：同任务 API 花费 4.81 美元，订阅内几乎免费 — emollick · 2026-11-03
- Argon 频繁掉线重试 9 次，网友调侃难怪谷歌股价跌 — AIandDesign · 2026-11-03
- Weight-Space Programming 直接编辑 Qwen 模型，模型与 Demo 已开源 — kalyan_kpl · 2026-11-03
- 实测对比：长回答任务中 SWA+mLSTM 混合架构胜过纯滑动窗口注意力 — HochreiterSepp · 2026-11-03
- 传闻：GPT-6 Astra 直接改动 Qwen3.5-0.8B 权重提升数学能力 — perelmanych · 2026-11-03