Moonshot Kimi K3 报告主打稀疏 MoE 与 Delta Attention
SumitGup · x · 2026-07-26
Moonshot AI 的 Kimi K3 技术报告强调：更大的稠密模型并不是未来，核心思路是用稀疏路由、Delta Attention、Attention Residuals、100 万 token 上下文和高效扩展，换取更强的代码能力与更低推理成本。
- 稀疏 MoE 路由：896 个专家里，每个 token 只激活 16 个。
- Delta Attention：只关注上下文中的变化部分，避免全量重算。
- Attention Residuals：在层间保留有用信息，减少反复重建表示。
- 1M 上下文：目标是让整个代码仓库、书籍、论文放进一个会话。
- 高效扩展：追求前沿代码性能，但不把推理成本一起推高。
所属事件:月之暗面发布 Kimi K3 万亿参数模型(4 条相关)→
「模型」频道最新
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- Claude 突然满口英式拼写,用户困惑模型「以为我是英国人」 — cantrell · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27
- ARC Prize 排行榜改版：默认展示最高推理档成绩，支持按 v1/2/3 排序 — mhmazur · 2026-10-27
- Cohere 沙箱实锤：开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
- 博主故意误导 Ling 3.0 Flash Sante,模型坚持拒绝错误精神病治疗方案 — FellMentKE · 2026-10-27