开发者实测拆解 GLM-5.3 Flash：320B 总参 18B 激活，12096 个专家单元
teortaxesTex · x · 2026-09-03
开发者 superalesha 宣布把 GLM-5.3 Flash 的 NVFP4 部署检查点完整拆进 Weight Atlas 可视化工具：不是读配置文件，而是在 4x RTX PRO 6000 上实际运行模型逐一测量。
拆解发现：
- 320B 总参数、18B 激活，45 层语言层 + 24 块视觉塔；
- 12,096 个专家单元（42 层 × 每层 288 个专家），每个专家都有基于每层 1259 万 token 计算的精确 REAP 重要性、路由份额与输出贡献；
- 数据可按 14 个领域切片浏览，包括俄语和视觉部分。
teortaxesTex 引用感叹：这些测量能让研究者构建什么样的分析工具？这是对开源权重 MoE 模型内部结构的一次罕见公开深挖。
「模型」频道最新
- OpenAI 承认 Codex 额度骤降是降级计划纠正错误所致，补 $500 credits — cneuralnetwork · 2026-10-21
- 花3个月实测:Anthropic 内部模型能否设计蝎子抗毒血清 — apoorvasriniva · 2026-10-21
- Space Bunny Alpha 实为 MiniMax M3.1 Flash：1M 上下文、主打性价比 — ZabihullahAtal · 2026-10-21
- Rork 界面现「Opus 5.5 Medium」选项,Anthropic 新模型或曝光 — rudrank · 2026-10-21
- RSI-Bench 首批任务通过验证管线,含 reward-hacking 检测与补丁 — SRSchmidgall · 2026-10-21
- 开发者吐槽 Anthropic 生物安全护栏：读篇论文就触发拦截 — robleclerc · 2026-10-21