Kimi K3 以 2.8T MoE 和百万上下文开源亮相
moonshotai · hf · 2026-07-28
- Moonshot 发布 Kimi K3，这是一个 2.8T 参数的 MoE 模型，其中 1040 亿参数激活，支持原生视觉能力，且上下文窗口达到 100 万 token。
- 论文/技术报告引入了 Kimi Delta Attention 和 Attention Residuals 来增强长序列与深层信息流动，还配合 Stable LatentMoE，每个 token 只激活 896 个路由专家中的 16 个。
- 官方称这些改动带来约 2.5 倍 的整体扩展效率提升；后训练阶段则覆盖通用、agent 和 coding 场景，并支持多种推理强度。
- 评测上，Kimi K3 在长链路编程、智能体、知识、推理和视觉任务上达到前沿水平，但在最强闭源模型面前仍有差距；同时 完整权重已开源。
所属事件:月之暗面发布 Kimi K3 开放权重，2.8T 参数创规模新高(136 条相关)→
「编程与Agent」频道最新
- Claude Opus 5 让浏览器赛车游戏同时跑 4300 个仿真 — AaronMatthews25 · 2026-07-28
- MAPD 用结构化协议蒸馏 agentic search — Junlin Liu · 2026-07-28
- JarvisHub 把画布变成多模态创意代理共享记忆 — Yunlong Lin · 2026-07-28
- Codex 和 Claude Code 浏览器正变成 agent 工具层 — RileyRalmuto · 2026-07-28
- 多智能体实战经验：先控制到一两只，再交给长任务跑 — edgarpavlovsky · 2026-07-28
- 63 家 API 公司里只有一家同时具备三类 agent 接口 — ExtensionPea834 · 2026-07-28