新论文:模型增长+循环训练可改写 scaling 律,省 20 倍算力追平 GPT-3
burny_tech · x · 2026-09-19
industriaalist 团队发布新论文，挑战「架构改动只能带来常数级收益、预训练进步主要靠数据」的普遍假设，展示了模型增长（looping with model growth）能持续改进 scaling 指数，带来随算力指数级放大的收益：
- 在 1e20 FLOPs 下实现 1.55x 计算乘数，预计 1e25 下可达 2.7x
- 用少 20 倍的算力在 CORE 评测上追平 GPT-3 13B
- 方法结合模型循环、边界算子（boundary operators）与模型增长，计算乘数随每增加一个数量级算力而指数增长
Steve Hsu 转发评论：如果有效计算深度是决定 scaling 指数的关键，那么一个能检查自身残差流、发现后期层贡献消失、并在训练中途提出加循环与新边界算子的模型，已经算是在做狭义的递归自我改进（narrow RSI）——这种改动代码量小、可小规模验证，且每轮循环既提升模型发明下一步修改的能力，又放大验证算力的回报，形成复利循环。他还将其与 DeepSeek 的 mHC（把残差流扩展为并行流、用 Birkhoff 多胞体上的双随机矩阵做投影）相提并论。
所属事件:循环深度改写 scaling 指数：7.4B 模型省 20 倍算力匹敌 GPT-3 13B(6 条相关)→
「研究」频道最新
- Epoch AI 启动基准审计:15 个基准 9 个被判「有缺陷」引反弹 — DimitrisPapail · 2026-09-19
- Jasper 发布 RL 训练搜索 Agent 教程:奖励函数微调全程开源 — simonguozirui · 2026-09-19
- 研究者回应 Terminal Bench 审计争议:已知问题仅影响榜单不到 3% — AlexGDimakis · 2026-09-19
- Reddit 讨论：人们常说「不理解 LLM 如何运作」到底指什么 — RedParaglider · 2026-09-19
- Reddit 对齐脑洞：让模型永远怀疑自己正被评测 — Chemical-Year-6146 · 2026-09-19
- 新研究:侮辱与悲伤对模型情绪向量的作用方向截然相反 — repligate · 2026-09-19