Kimi K3 从头训练 MoonViT-V2 来稳定多模态训练
nrehiew_ · x · 2026-07-29
这条补充了 Kimi K3 多模态里视觉塔的关键变化：MoonViT-V2 完全从头训练。
- 过去，包括 Kimi K2.5，通常会用 SigLIP 这类对比学习模型初始化视觉编码器。
- K3 的做法是把视觉编码器直接和 LLM 一起做联合优化，目标是 next-token prediction。
- 他们认为预训练视觉塔接到 LLM 上后，联合优化更容易不稳定；而 MoonViT-3D 在 SigLIP 初始化时会出现更频繁的梯度尖峰。
- 相比之下，MoonViT-V2 训练更稳定。
- 作者还表示，MoonViT-V2 在视觉评测上能追平基线，这意味着大规模多模态模型未必需要对比预训练做初始化。
所属事件:Kimi K3技术报告深度拆解：工程协同成就前沿性能(21 条相关)→
「模型」频道最新
- 试用 Grok bot 却先收到 Cursor 欠费账单，两账户合并需先补款 — haydendevs · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- 截图曝 Google 疑似未发布模型 Gemini 4 Argon，仅限 Ultra 和付费 Pro 用户 — il_-bro · 2026-10-16
- 谷歌:Gemini 4 Argon 进驻 Antigravity,代码提交增 35%、回滚降三分之一 — tekbog · 2026-10-16
- Gemini 分类器乱注入「无根据信念」警告，Opus 推理现场翻车 — liminal_bardo · 2026-10-16
- 密码学家 Matthew Green 烧掉一周 Pro 配额,GPT-6 仍未能分解 512 位 RSA — matthew_d_green · 2026-10-16