新研究:Transformer 循环复用可正则化,算力效率提升 2.2 倍
SonglinYang4 · x · 2026-09-18
转发并点评一项关于循环(looping)架构的研究发现:
- 研究还考察了数据受限、多 epoch 的训练场景,发现循环复用具有正则化效应;
- 在固定模型规模下,验证损失随循环次数增加单调下降;
- 最优循环次数随算力预算增长,即便与调优过 weight decay 的标准 Transformer 相比,仍可带来 2.2 倍的算力效率提升。
对数据受限训练与算力受限场景下提高 Transformer 效率是有参考价值的结论。
所属事件:循环深度改写 Scaling 指数：7.4B 模型省 20 倍算力匹敌 GPT-3 13B(7 条相关)→
「Infra」频道最新
- Gary Marcus:多米诺骨牌开始倒下,算力将重演光纤过剩 — GaryMarcus · 2026-11-02
- 所有系统知识都将汇入推理与硬件，AI 时代技能版图正在重写 — Abhishekcur · 2026-11-02
- AWS 被曝算力订满至 2027，专家称「卖光」说法需看语境 — DavidLinthicum · 2026-11-02
- 富士康董事长刘扬伟：AI 不是泡沫，产品需求依然明确 — pstAsiatech · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02
- 韩国芯片出口加速增长,年出口 1 万亿美元目标在望 — pstAsiatech · 2026-11-02