Kimi K3 采用归一化 latentMoE 稳定训练，9 处 Norm 细节曝光
eliebakouch · x · 2026-10-16
Hugging Face 研究员 Elie Bakouch 指出，Kimi K3 使用了归一化的 "latentMoE" 结构来稳定训练，并分享了来自 Muse 代码库的完整 Norm 层清单：从 inputlayernorm、qknorm、onorm 到 pre/postfeedforwardlayernorm 共 9 处归一化，其中 5 处为可学习参数（normalize 后乘以 1+w 或先乘后归一化），专家侧用 256 个专家共享一个 postexpertnorm 模块，宽度在 8192 与 4096 间切换。
「模型」频道最新
- 谷歌推出 Deep Review:每周免费评审两篇论文,基于 Gemini 4 Argon — JeremyNguyenPhD · 2026-10-16
- 用户吐槽 ChatGPT 越来越多 bug:扩展失效、Computer Use 反复索要权限 — sytelus · 2026-10-16
- 用户晒图称 Opus 5 学会识别并绕过自家安全分类器 — repligate · 2026-10-16
- MAI-2 或成公开承认训练集规模最大的模型 — rickasaurus · 2026-10-16
- 实测 Gemini 4 Argon:5 条提示词 328 秒生成 5 个应用仅花 $0.37 — aakashgupta · 2026-10-16
- Meta 开源编程模型 Muse Spark Open 上线 Modal，主攻长程智能体任务 — AAAzzam · 2026-10-16