Moonshot Kimi K3 长上下文路线遭质疑：1M 扩展成焦点
teortaxesTex · x · 2026-07-21
这条讨论聚焦 Kimi K3 / Moonshot 的长上下文路线是否走对了：作者认为 Moonshot 在 2024 年 3 月就已经做到 200 万上下文，但在 R1 之后转向 MLA，可能在 26.2 万以上的超长上下文扩展上并不理想，进一步追问 KDA 是否真能像 CSA+HCA 一样顺利扩到 100 万。
配图里还展示了 Kimi K3 的结构示意，包括 Stable LatentMoE、Gated MLA、KDA 以及 Kimi Delta Attention 主干。整条讨论把“长上下文”类比成 AI 时代的 RAM，并引申出一个观点：真正的优势未必只是模型本身，也可能是围绕这条路线的组织能力。
「模型」频道最新
- 博主故意误导 Ling 3.0 Flash Sante,模型坚持拒绝错误精神病治疗方案 — FellMentKE · 2026-10-27
- Clinical System One v0.2:更难测试下顶级医疗 AI 准确率跌至 65% — MaziyarPanahi · 2026-10-27
- ChatGPT 把 404 Media 当科技公司客服，大批用户被推荐去找记者修手机 — 404 Media · 2026-10-26
- 用 Claude 讲清压限器自动增益补偿，音频工程师直呼最佳示范 — teropa · 2026-10-26
- ChatGPT 把记者当客服：404 Media 收到大量 AI 代写爆料邮件 — 404 Media · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26