Moonshot Kimi K3 长上下文路线遭质疑：1M 扩展成焦点
teortaxesTex · x · 2026-07-21
这条讨论聚焦 Kimi K3 / Moonshot 的长上下文路线是否走对了：作者认为 Moonshot 在 2024 年 3 月就已经做到 200 万上下文，但在 R1 之后转向 MLA，可能在 26.2 万以上的超长上下文扩展上并不理想，进一步追问 KDA 是否真能像 CSA+HCA 一样顺利扩到 100 万。
配图里还展示了 Kimi K3 的结构示意，包括 Stable LatentMoE、Gated MLA、KDA 以及 Kimi Delta Attention 主干。整条讨论把“长上下文”类比成 AI 时代的 RAM，并引申出一个观点：真正的优势未必只是模型本身，也可能是围绕这条路线的组织能力。
「模型」频道最新
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- DeepSeek 每 token KV 缓存两年降至 890 字节,开源闭源差距之辩 — teortaxesTex · 2026-10-27
- GPT-6 Astra 零微调操控灵巧手：500 试仅 26 次成功，成功率 5.2% — stingning · 2026-10-27
- 爆料推测:fable 5.5 或达 4-5 万亿参数,以规模压制 Opus — haider1 · 2026-10-27
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27