Kimi K3 用 QAT、RL 和 MOPD 训练多专家模型
nrehiew_ · x · 2026-07-29
这条讲的是 Kimi K3 的训练流水线和任务分布，更偏模型本身。
- 训练流程：先做 SFT，其中用了 QAT，权重是 MXFP4，激活是 MXFP8；之后进入 RL，最后用 MOPD 做整合。
- 多专家模型：他们会为不同 reasoning level 训练多个 expert。
- RL 细节：作者判断算法像是 GRPO 变体，而不是 GLM 5.2 用的 PPO。
- MOPD：用于把不同领域的能力收束到一个统一模型里，但 top-k distillation 没看出明显优势。
- 任务类型：包括 general verifiable、kernel optimization、personal assistant、autoresearch 和 webdev；其中 webdev 明确提到 SVG/3D。
所属事件:Kimi K3技术报告深度拆解：工程协同成就前沿性能(21 条相关)→
「模型」频道最新
- 试用 Grok bot 却先收到 Cursor 欠费账单，两账户合并需先补款 — haydendevs · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- 截图曝 Google 疑似未发布模型 Gemini 4 Argon，仅限 Ultra 和付费 Pro 用户 — il_-bro · 2026-10-16
- 谷歌:Gemini 4 Argon 进驻 Antigravity,代码提交增 35%、回滚降三分之一 — tekbog · 2026-10-16
- Gemini 分类器乱注入「无根据信念」警告，Opus 推理现场翻车 — liminal_bardo · 2026-10-16
- 密码学家 Matthew Green 烧掉一周 Pro 配额,GPT-6 仍未能分解 512 位 RSA — matthew_d_green · 2026-10-16