模型参数更大且更不稀疏
rasbt · x · 2026-07-16
帖子补充了几条关于某个模型的观察：
- 参数量比 GLM 5.2 多 250B。
- 比 Kimi K2.5 1T 更不稀疏：后者是 3.2% sparsity、32B active，而这里对比的是 4.2% sparsity、41B active。
- 不是像 Nemotron 那样的混合架构。
作者还表示，自己很想看一下 token/sec 吞吐量 的对比。
所属事件:Kimi K3 引爆中国前沿模型再评估(94 条相关)→
「模型」频道最新
- repligate:上下文塞满噪声对 LLM 是实打实的「困难」 — repligate · 2026-10-27
- 悖论:最值得信任的 LLM 反而不肯干最出格的事 — AaronBergman18 · 2026-10-27
- Claude 拒绝输入验证码被指安全障碍:一次性密码没法交给密码管理器 — AaronBergman18 · 2026-10-27
- 模型越可信越不敢输密码?研究者谈安全护栏的连带效应 — AaronBergman18 · 2026-10-27
- repligate:LLM 上下文塞满噪声时确实会变『难』,休息的价值或可用信息论解释 — repligate · 2026-10-27
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27