基于 nanochat 的自动科研预训练功能上线:可调度数千 GPU 并自动恢复
SeunghyunSEO7 · x · 2026-11-19
eliebakouch 发布新预训练功能:在 Karpathy 的 nanochat scaling ladder 之上做 autoresearch,少量节点即可跑 scaling 实验,也能将任务投放到数千块 GPU 并支持自动故障恢复。转发者 Seunghyun Seo 由此提出「scaling law 速通」的点子:不只比谁更快达到目标 loss,而是让参赛者提交各自的幂律拟合,比谁的曲线在更大算力下扩展得更好——配图展示 AdamW+Dense 与 Muon/Shampoo+Dense 等方法的示例对比,图中 Muon 与 Shampoo 达到目标 loss 的算力效率约为 AdamW 的 2 倍。
「Infra」频道最新
- 三星驳AI泡沫论:NeoCloud仅占市场8%,芯片短缺仍将持续 — BenBajarin · 2026-11-19
- BIS 新规下三星停接中国 AI 芯片代工,寒武纪先进制程渠道受阻 — teortaxesTex · 2026-11-19
- Musk 谈 StarMind 轨道 AI 卫星:比 Starlink V3「容易得多」 — elonmusk · 2026-11-19
- 台积电被传限制 12nm 以下流片,评论称对华算力是渐进式禁运 — teortaxesTex · 2026-11-19
- ai& 与 NEC 合作,在日本本土数据中心提供主权 AI 推理服务 — DavidBennett__ · 2026-11-19
- Standard Kernel 用 AI 写软件,让被弃的 Intel Gaudi 性能反超 H100 — anneouyang · 2026-11-19