Kimi K3发布：2.8T开源权重
Latent Space · rss · 2026-07-17
这期 AI News 主要围绕 Moonshot 发布的 **Kimi K3** 展开，信息量很大： ### 先说结论 - Kimi K3 被定位为 **frontier-class open-weights model**，是一次很重磅的开源权重模型发布。 - 官方给出的规格包括：**2.8T 总参数**、**1M 上下文**、支持原生多模态输入，文本输出，且承诺在 **7 月 27 日前开放权重**。 - 价格方面，文中多处提到其定价接近 Sonnet：**$3 / 1M input tokens、$15 / 1M output tokens**，缓存输入可再大幅折扣。 ### 官方技术点 - K3 使用 **Kimi Delta Attention (KDA)**，官方称在百万 token 场景下可带来最高 **6.3x** 的解码加速。 - 还引入 **Attention Residuals (AttnRes)**，官方宣称可带来约 **25%** 的训练效率提升，额外成本不到 2%。 - 社区从技术博客里进一步扒出：可能用了 **LatentMoE / Stable LatentMoE**，以及少量激活专家；还提到 Muon、负载均衡和新的激活函数 SiTU 等细节。 ### 评测与排名 - Arena 把 K3 纳入多个榜单后，早期结果非常亮眼： - **Frontend Code Arena 第 1**，据说 1679 分，超过 Claude Fable 5。 - Text Arena 排到 **第 9**，并在 creative writing、coding、instruction following 等子项里进入前十。 - Artificial Analysis 的独立评估把它放在 **AA Intelligence Index 57**，整体接近 Opus 4.8 和 GPT-5.5，但仍低于 Fable 5 和 GPT-5.6 Sol。 - 他们还给出了一些任务成本和 token 消耗数据：整体 Intelligence Index 跑下来平均任务成本约 **$0.94**，比 K2.6 少了 **21%** 的输出 token。 ### 推理与工程 - 早期在线服务观察到 API 速度大约 **26-28 tok/s**，有人推测 speculative decoding 可能还没完全启用。 - Moonshot 的 blog 被提到建议在 **64+ accelerator** 的 supernode 配置上部署，以获得更好的推理效率。 - vLLM 还确认 Moonshot 向 upstream 贡献了 **KDA prefix caching** 实现，说明这次发布不只是模型本身，也带动了 serving/runtime 的适配。 ### 需要注意的争议 - ProgramBench 作者提醒：某些统计口径可能会高估实际可用性，因为用了他们不推荐的 metric。 - 文中也明确提到，尽管 K3 很强，但在用户体验上和 Claude Fable 5、GPT-5.6 Sol 之间仍有差距。