网友核算盘古与DeepSeek V3训练成本:部分差距可能是方法问题
teortaxesTex · x · 2026-11-21
博主针对盘古(Pangu)与 DeepSeek V3 的训练成本/耗时对比补充了几个技术 caveat:盘古是 505B 参数(18B 激活),而 V3 是 671B(37B 激活),盘古本身可能更难训练;盘古的 step time 里包含了比 AdamW 更昂贵的 Muon 优化器,还叠加了 mHC 和 SWA。同时他也怀疑原对比数据可能仍是大幅高估。
「Infra」频道最新
- AI 网关正成生产级 AI 栈的关键控制层:八大核心能力清单 — goyalshaliniuk · 2026-11-21
- RTX Spark 旧金山首发会排队试玩,本地模型成主角 — JFPuget · 2026-11-21
- Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存 — EmilPi · 2026-11-21
- Cloudflare 上架多模态模型 clairic-flash,登 Hugging Face 热榜 — Cloudflare · 2026-11-21
- Hy 官方 AMA 干货:Flash 需 96GB 显存+128GB 内存,量化细节全公开 — allegedlyalienated · 2026-11-21
- Inkling-2-Mini 本地部署门槛低至 9GB 内存,各级量化需求一览 — NielsRogge · 2026-11-21