推算 K3 后训练成本约 400 万美元,算力消耗引发热议
nrehiew_ · x · 2026-07-30
有推主对 K3 模型的后训练(post-training)算力成本进行了粗略估算,推测其“英雄运行”(hero run)总成本约为 400万美元。
核心推算依据包括:
- 模型使用了 5000万次训练 rollouts,包含 24个专家模型(8个领域 × 3种推理强度)。
- 平均每个专家模型分配到约 200万次 rollouts,涉及约 12万至 16万个任务。
- 结合 RL 曲线的波动情况,推测训练步数不到 500 步,但使用了较大的批次大小(batch size)。
- 假设底层采用了 GB300 NVL72 机架,单次训练副本的 batch size 可能最大为 1024。
作者指出,相比于庞大的任务量,这其实暗示了如果有更高效的工程能力,K3 的后训练上限还有进一步突破的空间。
「Infra」频道最新
- 实测 poolsideai Laguna S 2.1 模型推理加速表现 — gajesh · 2026-07-30
- 分析称高通成当前 AI 芯片热潮中的“问题儿童” — firstadopter · 2026-07-30
- 三星半导体部门二季度营业利润暴涨 24900% — Polymarket · 2026-07-30
- AMD百万美元黑客松:团队优化内核使MI355X性能翻倍 — marksaroufim · 2026-07-30
- 三星财报透露:CSP 与 HPC 客户正推进 2nm 制程项目 — zephyr_z9 · 2026-07-30
- 三星财报会:Agentic AI 引发内存短缺,算力需求外溢 — zephyr_z9 · 2026-07-30