新研究：模型增长架构省 20 倍算力，权重共享并非算力最优
burny_tech · x · 2026-09-19
arXiv 论文 2609.19107 系统考察了 looped transformer 中递归深度、模型增长与边界算子对 scaling 指数的影响：
- 权重共享在新鲜数据上并非算力最优：每个规模都带来约 1.06–1.16 倍的固定算力开销；它的优势只在多轮、数据受限训练中体现。
- looped 模型相对普通 transformer 的增益来自归一化+输入重注入的边界算子和训练中途增加深度，二者都能改善 scaling 指数，且都不需要权重共享。
- 模型增长（无论是否共享权重）对 scaling 指数改变最大：7.4B 增长架构以约 20 倍更少算力在 CORE 上比肩 GPT-3 13B，且算力效率优势随规模扩大。
- 在数据受限的多 epoch 场景，looping 有正则化效果，最优做法是随规模增加循环数。
所属事件:循环深度改写 Scaling 指数：7.4B 模型省 20 倍算力匹敌 GPT-3 13B(7 条相关)→
「Infra」频道最新
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04