一种可回折的训练加速权重法
torchcompiled · x · 2026-07-15
研究者提出一种新的权重参数化方式：把权重表示为“线性权重 + 指数权重”的可学习加权混合。作者声称，这种做法在训练阶段可带来最高约 1.42x 的 wall-clock 加速，而且训练完后还能折回成标准权重用于部署。
补充讨论里提到：实验结束后还观察到权重分布比基线更“heavy-tailed”，虽然损失下降了，但作者也提醒这可能伴随其他副作用，仍需后续验证。
所属事件:SEL权重参数化:训练提速1.42倍且可融合部署(7 条相关)→
「研究」频道最新
- AlphaFold 背后是五十年实验数据，纯第一性原理仿真仍需实验 — vishalmisra · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测，密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26