模型参数更大且更不稀疏
rasbt · x · 2026-07-16
帖子补充了几条关于某个模型的观察： - 参数量比 **GLM 5.2** 多 **250B**。 - 比 **Kimi K2.5 1T** 更不稀疏：后者是 **3.2% sparsity、32B active**，而这里对比的是 **4.2% sparsity、41B active**。 - 不是像 **Nemotron** 那样的混合架构。 作者还表示，自己很想看一下 **token/sec 吞吐量** 的对比。
所属事件:Kimi K3 引爆中国前沿模型再评估(94 条相关)→
「模型」频道最新
- 财报方向预测基准显示前沿模型继续领先开源模型 — dougclinton · 2026-07-21
- Holo-3.1-35B-A3B-NVFP4 连续数周领跑 Spark Arena 2 节点榜 — Porespellar · 2026-07-21
- GPT-5.6 Sol 被指比 Opus 4.8 更会温和反驳 — JeremyNguyenPhD · 2026-07-21
- 一次编程会话里，Claude Opus 4.8 Fast 被吐槽太贵 — immersive-matthew · 2026-07-21
- 微软研究院把病理模型做轻量，仍保留 GigaPath 97% 性能 — iScienceLuvr · 2026-07-21
- 中国开源权重模型正冲击 OpenAI 与 Anthropic 经济叙事 — kimmonismus · 2026-07-21