Moonshot 提出注意力残差，重思考深度聚合
LucaAmb · x · 2026-09-01
Moonshot 提出一种新架构 Attention Residuals，旨在改进深度网络中的层间聚合方式。
- 核心改进：用基于输入的注意力机制取代传统的固定残差连接，允许网络选择性检索之前的层表示，解决状态稀释问题。
- 工程实现：引入 Block AttnRes 分层压缩，使跨层注意力在大规模模型下实用化。
- 实测效果：在 Kimi Linear 架构(48B 总参数，3B 激活)上验证，计算效率提升 1.25 倍，推理延迟仅增加不到 2%，且性能稳定提升。
「研究」频道最新
- 具身感知强化学习用于机器人控制与设计，团队连赴三场国际研讨会报告 — Jan_R_Peters · 2026-09-01
- Aardvark 天气模型引入不确定性，分离观测误差与模型不确定性 — FraunhoferHHI · 2026-09-01
- NBER 论文：LLM 自动化能力最强的不一定是最佳辅助模型 — soumitrashukla9 · 2026-09-01
- 小红书推专用引擎GR-Inference，Beam搜索吞吐翻倍 — 小红书技术REDtech · 2026-09-01
- 强制 Agent 输出思考过程，可作为模型蒸馏新信号 — Sad_Construction2179 · 2026-09-01
- 自监督新法 OPSA 无需蒸馏，AIME24 提升 35 分 — heghbalz · 2026-09-01