Kimi K3 用 FlashKDA 让 chunk 并行可行
nrehiew_ · x · 2026-07-29
这条在讲 Kimi K3 里 KDA 的 chunkwise parallel 实现，属于比较硬核的算法/系统拆解。
- FlashKDA：他们把 KDA 做成了 chunkwise parallel 形式。
- 并行策略选择：因为 KDA 的 head 更少，TP 的收益有限，所以这里主要用 context parallelism，按 chunk 切分。
- 难点：delta update rule 依赖前一个 state，导致不能完全独立并行。
- 拆解办法：把计算拆成两部分——一部分是可独立算的 local delta-rule factor，另一部分是在一次 all-gather 之后再应用 delta rule。
- 流程：先算局部因子，再算局部 state，做一次 all-gather，最后统一应用 delta rule。
所属事件:Kimi K3技术报告深度拆解：工程协同成就前沿性能(21 条相关)→
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16