新论文称循环加模型生长可弯折缩放律，算力收益随规模指数放大
akbirthko · x · 2026-09-17
作者团队发布新论文，挑战「架构改进只能带来常数因子增益、预训练进步主要靠数据」的主流假设。他们发现模型生长（model growth）、循环（looping）与边界算子的组合，能让对标准 Transformer 的算力乘数随每增加一个数量级算力而指数级增长：
- 在 1e20 FLOPs 处为 1.55 倍，预计 1e25 处达 2.7 倍
- 在 CORE 基准上以 少 20 倍算力匹配 GPT-3 13B 的表现
核心主张是 scaling 指数本身可以通过架构改动提升，收益随算力复合增长，而非只有数据在驱动预训练进步。
所属事件:循环深度改写 Scaling 指数：7.4B 模型省 20 倍算力匹敌 GPT-3 13B(7 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Mistral Large 4 短提示词从零写出量子化学 SCF 求解器并自建 3D 可视化 — MistralAI · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02