新论文纠正 Scaling Law：算力最优不等于集群最优
yuxin_tang · hn · 2026-08-14
一篇新论文指出，传统的“算力最优（Compute-optimal）”并不等同于“集群最优（Cluster-optimal）”。
研究将系统工程阶段折叠到了 scaling law 阶段中，强调在评估候选模型架构时，应该基于集群实际能交付的算力来进行定价和衡量。论文得出的核心结论是：混合专家模型“应该”具备的稀疏性程度，实际上取决于训练该模型时所使用的具体集群硬件配置。
「Infra」频道最新
- 双 Intel Arc Pro B60 内存暴涨实锤：一行环境变量省下数 GiB 主机内存 — fobsthedev · 2026-09-21
- 16 节点 GB10 集群跑满 2.8T 参数 Kimi K3：编码解码 30 tok/s — ciprianveg · 2026-09-21
- KDA/Mamba 长缓存复用踩坑：恢复长 prompt 触发非法内存访问 — TheZachMueller · 2026-09-21
- 量化模型上下文 128k 配压缩优于裸跑 256k/1M — Informal-Trouble2183 · 2026-09-21
- BNEF：2035 年美国数据中心天然气消耗将超德日总和 — Beth_Kindig · 2026-09-21
- RLinf 集成 SGLang 跑 Cosmos3,端到端评估吞吐提升 3.33 倍 — ying11231 · 2026-09-21