Kimi 提出 Attention Residuals 架构，推理延迟开销不足 2%
ChengleiSi · x · 2026-08-13
Moonshot AI（Kimi）提出了 Attention Residuals（注意力残差） 架构，重新思考了神经网络中的深度聚合方式。
- 核心创新：摒弃了传统固定且均匀的残差累加，引入了基于注意力的机制，让网络能够动态、有选择性地检索历史层的特征表示，从而自然缓解了特征稀释和隐藏状态膨胀的问题。
- Block AttnRes：为了在规模化训练中切实落地跨层注意力，该方案将网络层划分为压缩块进行操作。
- 性能表现：作为一种高效的即插即用替代方案，它能带来 1.25 倍的计算优势，且推理延迟增加微乎其微（不到 2%）。
此外，相关研究者进一步补充解析了该架构设计的优雅之处：它在正向传播中能通过 softmax 保持范数，在反向传播中能提供良好的梯度捷径，优化过程极具原则性。
「研究」频道最新
- 具身智能新突破：机器人超尺度运动追踪系统 SONIC 登刊 — zhengyiluo · 2026-08-13
- 研究：LLM 智能边际收益递减，前沿模型溢价面临挑战 — soumitrashukla9 · 2026-08-13
- 研究揭示CLAUDE.md为何无限膨胀：注释可减少99.3%冗余指令 — omarsar0 · 2026-08-13
- 英伟达成立 AI 辅助工程研究组，用神经算子加速物理系统设计 — JeanKossaifi · 2026-08-13
- NeurIPS 2026 MATH-AI 研讨会征稿，聚焦智能体与数学推理 — KaiyuYang4 · 2026-08-13
- AI 自动化科研复盘：青年学者如何打破边界刷榜 — tensorqt · 2026-08-13