Kimi K3 用 FlashKDA 让 chunk 并行可行
nrehiew_ · x · 2026-07-29
这条在讲 Kimi K3 里 KDA 的 chunkwise parallel 实现，属于比较硬核的算法/系统拆解。
- FlashKDA：他们把 KDA 做成了 chunkwise parallel 形式。
- 并行策略选择：因为 KDA 的 head 更少，TP 的收益有限，所以这里主要用 context parallelism，按 chunk 切分。
- 难点：delta update rule 依赖前一个 state，导致不能完全独立并行。
- 拆解办法：把计算拆成两部分——一部分是可独立算的 local delta-rule factor，另一部分是在一次 all-gather 之后再应用 delta rule。
- 流程：先算局部因子，再算局部 state，做一次 all-gather，最后统一应用 delta rule。
所属事件:Kimi K3 技术报告深度解读：架构与训练系统全面曝光(18 条相关)→
「Infra」频道最新
- Polymarket 预测州级数据中心禁令年底前概率 60% — Polymarket · 2026-07-29
- NextEra 与 Brookfield 在肯塔基州规划超 1000 亿美元 AI 数据中心园区 — Polymarket · 2026-07-29
- 8 美元 ESP32-S3 跑起 2890 万参数离线模型 — nikola_mr64990 · 2026-07-29
- 高通宣布已完成对 Modular 的收购 — clattner_llvm · 2026-07-29
- AMD 2026 印度 AI 开发者日聚焦智能体、本地 AI 与视频生成 — PyTorch · 2026-07-29
- Meta 可能用首个 compute client 消息配合加码 CapEx — RihardJarc · 2026-07-29