MoonshotAI 的 FlashKDA 提交暗示主线模型用了混合注意力
peterjliu · x · 2026-07-29
MoonshotAI 的 FlashKDA 提交暴露了混合注意力实现
MoonshotAI 的 FlashKDA 仓库里有一次 GitHub 提交，修复了 TMA 访问周围缺失的 proxy fence，同时也让外界看到了其自定义 attention 栈的一些线索。
这条帖里提到的关键信息
- 该仓库为新的 attention 实现写了自定义 CUDA kernel。
- 代码看起来采用了线性注意力 + 全注意力的混合设计。
- 文中还提到 Moonshot 自己的变体 Kimi Linear，并声称它比 full attention 更好。
- 提交信息里还能看到 Claude Fable 参与了 co-author。
为什么值得关注
讨论者认为，这可能是前沿模型首次被公开确认在主线模型里使用 hybrid attention。若属实，这意味着团队对小规模 scaling 结果有相当强的信心。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「编程与Agent」频道最新
- 「LLM 代码糙」遭反杀:ffmpeg 热门库里就有 if/else 两分支一模一样的代码 — kingslyj · 2026-10-16
- NVIDIA agentic 演示全靠 guardrails,Reddit 作者疾呼:模型外检查不可少 — Creamy-And-Crowded · 2026-10-16
- Vitalik 给 AI Agent 套上 Tor+zkAPI+本地改写，造出「偏执模式」隐私壳 — DavideCrapis · 2026-10-16
- Beam 智能体微调 Qwen3.5-0.8B,工单决策准确率 4.7%→76.3% — ben_burtenshaw · 2026-10-16
- Beam 跑 ProgramBench 实测:单 agent 比五 agent 协作更强 — ben_burtenshaw · 2026-10-16
- Beam+Pi 编码智能体一键生成 macOS 本地听写应用 BeamSpeak — ben_burtenshaw · 2026-10-16