Kimi K3 的 1.6TB 权重背后，或是 20–40 万亿 tokens
johnseach · x · 2026-07-28
这条在做 Kimi K3 的“规模现实检验”：
- 传闻/介绍里，K3 是一个 2.8 万亿参数 的开源模型，104B 激活参数，原生 MXFP4 权重文件约 1.56–1.6 TB。
- 作者关心的不是权重大小，而是它到底用了多少训练数据；但 Moonshot 还没有公开训练集规模。
- 基于前代 Kimi K2 使用过 15.5 万亿 tokens，以及 K3 更大的激活参数和更好的 scaling 效率，作者估算 K3 的训练量可能在 20–40 万亿 tokens。
- 把这个量级换算成存储，可能对应 80–160 TB 的高质量文本和多模态数据。
结论是：1.6 TB 的权重只是压缩后的“模型文件”，并不代表训练数据规模。
「模型」频道最新
- Tiron 作为开源权重模型发布，主打多人会议转写 — Balance- · 2026-07-28
- 团队弃用 Anthropic Max，转投 Codex 和国产模型 — haider1 · 2026-07-28
- Anthropic 为 Claude Opus 5 发布官方提示词指南 — JarnoDuursma · 2026-07-28
- DeepSeek V4 GA 传闻指向 NDA 严控，发布前仍是黑盒 — teortaxesTex · 2026-07-28
- Reddit 讨论 KIMI-K3 通过 OpenRouter 是否仍有护栏 — Suhan_XD · 2026-07-28
- Kimi K3 2.8 万亿开源模型冲击 Anthropic 200 美元订阅 — haider1 · 2026-07-28