Kimi K3底层优化：KDA数值稳定性与分块并行计算改进
nrehiew_ · x · 2026-07-29
针对 Kimi K3 中的 KDA (Delta Attention)，作者解析了其在数值稳定性方面的工程优化。在分块并行计算中，过大的 chunk 会引发衰减并导致数值不稳定。K3 通过将其进一步切分为 16 个 token 的 tile 并在内部执行衰减来缓解此问题。
同时，模型采用 scaled sigmoid 替代 softplus 来计算遗忘门，这不仅将衰减下限控制在 -5，还允许在对角元素计算中使用 Tensor Core。最后，输出门控被修改为数据依赖且满秩的形式。
所属事件:Kimi K3技术报告深度拆解：工程协同成就前沿性能(21 条相关)→
「研究」频道最新
- 一个古老结构单元撑起免疫系统：免疫球蛋白折叠的亿年多职演化 — arjunrajlab · 2026-10-16
- 中国后量子签名 Origami 被攻破，公钥即可伪造签名 — matthew_d_green · 2026-10-16
- 模型能力还是基础设施？Agent 评测的分层归因难题 — jrxna · 2026-10-16
- 首篇论文即中 NeurIPS spotlight:多智能体集群安全研究 — LauraRuis · 2026-10-16
- UNSW 提出 EDEN：嵌入空间锚定噪声增强 LLM RLVR 探索 — Daijiao Liu · 2026-10-16
- 自动驾驶团队演示窄路僵局：车辆学会倒车让行，并自制机械臂换挡测试 — sanjeevs_iitr · 2026-10-16