Moonshot Kimi K3 报告主打稀疏 MoE 与 Delta Attention
SumitGup · x · 2026-07-26
Moonshot AI 的 Kimi K3 技术报告强调：更大的稠密模型并不是未来，核心思路是用稀疏路由、Delta Attention、Attention Residuals、100 万 token 上下文和高效扩展，换取更强的代码能力与更低推理成本。
- 稀疏 MoE 路由：896 个专家里，每个 token 只激活 16 个。
- Delta Attention：只关注上下文中的变化部分，避免全量重算。
- Attention Residuals：在层间保留有用信息，减少反复重建表示。
- 1M 上下文：目标是让整个代码仓库、书籍、论文放进一个会话。
- 高效扩展：追求前沿代码性能，但不把推理成本一起推高。
所属事件:月之暗面发布 Kimi K3 万亿参数模型(4 条相关)→
「模型」频道最新
- 曝 Meta Muse Agent 内置邀请码逻辑,或携额外免费额度上线 — testingcatalog · 2026-09-11
- 同题 Echo Maze 实测:三大模型看似成功,代码里藏着同一个 bug — eyishazyer · 2026-09-11
- 新基准一出分数暴跌 70 点:「刷榜」现象如何让跑分失真 — airesearch12 · 2026-09-11
- ChatGPT 竟劝用户「问题太复杂,去试试更笨的回答」 — phido3000 · 2026-09-11
- Anthropic 调整年龄验证,Claude 不再向未成年人开放 — Muhammad523 · 2026-09-11
- 有人要建全模型基准分数汇总页 — airesearch12 · 2026-09-11