循环深度改写 scaling 指数：7.4B 模型省 20 倍算力匹敌 GPT-3 13B
andrewgwils · x · 2026-09-17
Andrew Gordon Wilson 团队的新论文挑战了「架构干预无法改变 scaling 指数」的传统认知，核心发现：
- 循环即模型增长：looped transformer 的递归深度（looping）可作为模型增长机制——训练时增加循环次数即可提升「可用深度」。
- 关键数据：7.4B 模型增长架构在 CORE 基准上以约 1/20 的算力匹敌 GPT-3 13B，且算力效率收益随规模递增。
- 边界算子：即使在普通 transformer 中只加一个 boundary operator（归一化并注入更早的 block），也能带来随规模递增的算力效率提升，幅度略小。
- 数据受限场景：多 epoch 重复数据下，标准 looping 有正则化效果，最优策略是随规模增加循环次数。
论文认为这些结果可用「计算深度」视角理解：给定算力预算下提升 transformer 的可用深度，可获得随规模放大的效率收益。
所属事件:循环深度改写 Scaling 指数：7.4B 模型省 20 倍算力匹敌 GPT-3 13B(7 条相关)→
「研究」频道最新
- Adobe 与 UCLA 提出 Tev：用可验证进度奖励破解长程 Agent 训练难题 — jiqizhixin · 2026-11-02
- 老招新用：path tracing 加 portal 采样，64spp 噪点显著下降 — ssh4net · 2026-11-02
- Marcel Böhme 提出漏洞引导加固哲学：为何安全永远无法一劳永逸 — mboehme_ · 2026-11-02
- Perplexity 开源研究型基准 WANDR：500 任务、17 万条证据点 — thisguyknowsai · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02
- 蚂蚁团队发布统一反伪造模型，AI视频鉴伪达96% — inclusionAI · 2026-11-02