Kimi K3 披露文本、代码、数学与视觉预训练配方
stochasticchasm · x · 2026-07-28
Kimi K3 披露了其预训练数据构成与处理流程：文本侧覆盖 Web、代码、数学和知识四大域，外加大规模视觉语料。
- 文本数据：每个领域都经过规则过滤、分类器打分和去重，采样比例则根据小模型消融实验确定。
- 知识/数学重写：沿用 Kimi K2 的做法，通过多风格、多视角提示词和分块自回归生成，再做与源文档的一致性校验。
- 视觉数据：视觉语料结合开源集合与自研过滤、合成和去重流程；训练时同时使用绝对和归一化坐标监督，以提升定位精度与分辨率鲁棒性。
- 多模态扩展：除了常规图文数据，还把代码片段与渲染结果配对，覆盖 SVG、3D 资源、网页、游戏和 CAD 示意图等格式。
所属事件:月之暗面发布 Kimi K3 技术报告，宣称训练效率提升 2.5 倍(34 条相关)→
「模型」频道最新
- 转发文章称 Anthropic Opus 5 实测退化明显 — rickasaurus · 2026-07-28
- Polymarket 给予 Moonshot 9 月前再发 Kimi K 概率 76% — Polymarket · 2026-07-28
- The Verge 认为 Kimi K3 可能冲击美国闭源模型 — The Verge AI · 2026-07-28
- Kimi K3 已可在 Fireworks 上推理与训练 — omarsar0 · 2026-07-28
- Gemini 视频生成会乱加词，还会拦截部分无害提示 — Individual-Cookie615 · 2026-07-28
- Polymarket 估算下月内发布新 Claude Sonnet 概率为 42% — Polymarket · 2026-07-28