网友核算盘古与DeepSeek V3训练成本:部分差距可能是方法问题

teortaxesTex · x · 2026-11-21

博主针对盘古(Pangu)与 DeepSeek V3 的训练成本/耗时对比补充了几个技术 caveat:盘古是 505B 参数(18B 激活),而 V3 是 671B(37B 激活),盘古本身可能更难训练;盘古的 step time 里包含了比 AdamW 更昂贵的 Muon 优化器,还叠加了 mHC 和 SWA。同时他也怀疑原对比数据可能仍是大幅高估。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →