Kimi K3 内核优化主力研究员 nathancgy4 离职 Moonshot

SonglinYang4 · x · 2026-10-15

Moonshot AI（Kimi）研究员 Nathan Gao（@nathancgy4）宣布离职，称在 Kimi 的一年是他人生中最好的一年。他列举的主要工作包括：与 @yzhangcs 一起优化 KDA（Kimi Delta Attention）内核、共同提出并打磨 Attention Residuals、研究优化器与训练动力学（为此熬过最多的夜）、参与 Kimi K3 发布的测试用例制作等。转发链中还引用了 Driss 的博客，讨论 KDA 中一个依赖未来 token 的舍入效应（future-dependent rounding），并提到 TorchTitan/Attention Gym 正在为 GDA/KDA 等混合注意力架构构建训练原语。