Moonshot 提出注意力残差，重思考深度聚合
LucaAmb · x · 2026-09-01
Moonshot 提出一种新架构 Attention Residuals，旨在改进深度网络中的层间聚合方式。
- 核心改进：用基于输入的注意力机制取代传统的固定残差连接，允许网络选择性检索之前的层表示，解决状态稀释问题。
- 工程实现：引入 Block AttnRes 分层压缩，使跨层注意力在大规模模型下实用化。
- 实测效果：在 Kimi Linear 架构(48B 总参数，3B 激活)上验证，计算效率提升 1.25 倍，推理延迟仅增加不到 2%，且性能稳定提升。
「研究」频道最新
- Smarter Every Day 博主 Destin 将答辩冲击聚变博士论文 — CatAstro_Piyush · 2026-10-18
- 脑植入物让失语者重新开口，Science 长文综述语音 BCI 产业进展 — EricMTrautmann · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- 数学预印本新仓库 Hexagon 上线，收录 arXiv 不收的研究成果 — tak3sh8 · 2026-10-18
- Periodic 创始人 CoLM 演讲：自训模型终将跨越前沿模型拐点 — heghbalz · 2026-10-18
- PNAS 论文:生物突触可自组装出逼近梯度下降的学习规则 — xuanalogue · 2026-10-18