一份阅读路线图梳理了 Kimi K3 的研究栈
East-Muffin-6472 · reddit · 2026-07-29
这条长帖把 Kimi K3 背后的研究脉络梳理成了一份推荐阅读顺序，核心观点是：K3 不是单点突破，而是多条技术线逐步汇合的结果。
- 起点是 Linear Transformers Are Secretly Fast Weight Programmers，它把线性注意力解释为一种持续更新的关联记忆机制。
- 接着是 Gated DeltaNet (2412.06464)，通过可学习的状态更新机制，增强长序列记忆能力。
- 然后进入 Kimi Linear / Kimi Delta Attention (KDA)，被认为是 Moonshot AI 最终用于 K3 的骨干架构。
- 帖子还串起了 LatentMoE → Stable LatentMoE，并指出 K3 里每个 token 只激活 896 个路由专家中的 16 个，以提升稀疏效率。
- 另一个关键点是 Attention Residuals (2603.15031)：不再让所有历史层等权残差累积，而是让每层选择性关注前层表示。
- 最后作者建议按 Kimi K1.5 → K2 → K2.5 → K3 的顺序看模型报告，才能看清强化学习、多模态、agent 能力和训练/基础设施是如何逐步叠加的。
所属事件:Kimi K3 开源模型架构解析：弃 RoPE 引入 KDA 与 LatentMoE(5 条相关)→
「研究」频道最新
- 四足机器人实机实现变形+步行:各姿态单独强化学习、变形时切换策略 — _Stocko_ · 2026-10-16
- KinoGen 用运动学视频生成直接为人形机器人合成全身操作参考动作 — ChongZzZhang · 2026-10-16
- Science Robotics 论文提出 F³ 事件相机预测表征，超越光流 — CSProfKGD · 2026-10-16
- VideoGen-Agent:基于 Qwen3-VL 的 8B 多模态 Agent 用工具循环改写视频生成 — jiqizhixin · 2026-10-16
- 前沿实验室代码多由 AI 编写，论文提出「理解力审计」安全门槛 — ronbodkin · 2026-10-16
- Not Boring 周报：可解释性乐观论、飞行跑车与 tau 蛋白降 73% — Not Boring (Packy McCormick) · 2026-10-16