模型参数更大且更不稀疏
rasbt · x · 2026-07-16
帖子补充了几条关于某个模型的观察：
- 参数量比 GLM 5.2 多 250B。
- 比 Kimi K2.5 1T 更不稀疏：后者是 3.2% sparsity、32B active，而这里对比的是 4.2% sparsity、41B active。
- 不是像 Nemotron 那样的混合架构。
作者还表示，自己很想看一下 token/sec 吞吐量 的对比。
所属事件:Kimi K3 引爆中国前沿模型再评估(94 条相关)→
「模型」频道最新
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11
- 用户呼声下 DeepSeek V4 Pro API 宣布继续服务,计费不变 — teortaxesTex · 2026-09-11
- 第三方实测:DeepSeek V4.1 Flash 达 GPT-6 Astra 98% 分,成本仅 1.4% — ayushtweetshere · 2026-09-11
- TheZhi 发起调查:Fable 5.1 与 Astra 发布后,编码模型选择变了吗 — TheZvi · 2026-09-11
- antirez 谈 Anthropic 禁止未成年人使用 Claude — antirez · 2026-09-11