Scaling Law「架构无关」时代终结：架构创新重回主舞台
teortaxesTex · x · 2026-11-15
teortaxesTex 评论 Coxon 的架构进展图表时指出：Kaplan et al. 2020 年的 scaling laws 原论文曾被普遍理解为「架构不重要，关键只是数据量 D × 参数量 N」，而不到 7 年后，这种理念已经彻底死亡。
引用推文 @ueaj 补充了对开源前沿进展的时间线估算：
- 2024 年的预训练「科学」大致只有宽度缩放的 muP 和 Adam 优化
- 2025 年进入稀疏 MoE、更好的 scaling laws
- 2026 年则是更好的注意力机制、稀疏性、矩阵运算优化、深度缩放架构与更精细的学习率缩放定律
据此估算闭源前沿效率约按 1x → 3x → 50x 演进，开源前沿约为 1x → 3x → 15-25x——距离闭源只差一到三个「2 倍算力乘数」级别的创新，作者认为完全可信。
「研究」频道最新
- UMAP 0.6 发布：近邻搜索提速约 4 倍，300 万篇 arXiv 论文 5 分钟内处理 — leland_mcinnes · 2026-11-15
- Hugging Chat 会话可一键发布为 Dataset Trace 助力开源模型 — mmitchell_ai · 2026-11-15
- Northwestern 与 Google 论文:Harness² 无答案密钥自我进化 agent 框架 — rohanpaul_ai · 2026-11-15
- SatBench 统计：大厂引用的 173 个 AI 基准已有 63% 被刷穿 — emollick · 2026-11-15
- MIT与DeepMind论文:AI顾问会讨好CEO,为高管奖金牺牲公司利益 — rohanpaul_ai · 2026-11-15
- 达尔文.skill 3.0 发布：弃评文档改盲评实跑产出，脚本裁决胜负 — AlchainHust · 2026-11-15