Kimi K3 视觉编码器从头训练，称视觉评测更强
nrehiew_ · x · 2026-07-29
这条讲的是 Kimi K3 的原生多模态设计。
- K3 不是先单独训练视觉编码器，而是把整套系统 从头一起训练，用的是 next-token prediction。
- 作者说这种做法在 vision evaluations 上超过了基线。
- 配图里还对比了 Kimi K2 和 K3 的 scaling 曲线，并展示新的视觉塔 MoonViT-V2：相比 SigLIP 初始化的 MoonViT-3D，它的梯度 norm 更低、尖峰更少，训练更稳定。
- 线程的结论是：在大规模多模态模型里，contrastive pretraining 可能并不是必要的初始化方式。
所属事件:Kimi K3技术报告深度拆解：工程协同成就前沿性能(21 条相关)→
「模型」频道最新
- 为何 15B 以下开源模型越来越少见？大厂默契卡在 24-27B — Hot_Example_4456 · 2026-10-16
- 网友观察到模型自生成「理想回答」用于训练其他模型 — liminal_bardo · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单卡 24GB 跑 Gemma 4 31B QAT：4090 上 46 tok/s，加草稿模型达 80 — Subject_Poet_3861 · 2026-10-16
- JevBench 榜单更新:d1-ultra 以 76.1 综合分登顶,32 个 API 系统参评 — airesearch12 · 2026-10-16
- 5 人团队抱怨 ChatGPT 商业版与个人 Pro 额度不对等、定价不透明 — bettercallfool · 2026-10-16