Kimi 团队发布 Attention Residuals：用注意力替代残差连接
burny_tech · x · 2026-10-27
Kimi Team 发布论文《Attention Residuals》，指出现代 LLM 标准的 PreNorm 残差连接以固定单位权重累积所有层输出，导致隐状态随深度不受控增长、稀释每层贡献。AttnRes 改用 softmax 注意力让每层以可学习、依赖输入的权重选择性聚合此前各层的表示。为降低大规模训练中对所有前层做注意力的显存与通信开销，提出 Block AttnRes：把层分块、只对块级表示做注意力，配合基于缓存的流水线通信和两阶段计算，可作为标准残差的近似零开销替代。Scaling law 实验显示各模型规模下收益一致，消融验证了内容依赖的深度选择的必要性。开发者 burnytech 正尝试把 AttnRes 加进 General Physics Transformer（GPhT），配图表格显示：加入 Block AttnRes 后辐射层 12 步 NMSE 从 0.39277 降到 0.28917，Full AttnRes 为 0.31735，loss 收敛更快。
「模型」频道最新
- 苹果开源 Private Cloud Compute 全部安全组件供研究者审计 — jedisct1 · 2026-10-27
- Signal65 实测 DeepSeek-V4.1-Flash-1017:默认档达到原版极限档成绩 — ryanshrout · 2026-10-27
- Artificial Analysis 预告 10 月 27 日发布 Intelligence Index v5 — ArtificialAnlys · 2026-10-27
- Ramp 数据：Anthropic 混合 token 价格半年近乎减半至 $0.80 — FinanceYF5 · 2026-10-27
- GPT-6.1 Terra 单任务成本仅 $0.67，为最便宜的前沿模型 — bindureddy · 2026-10-27
- Cohere 报告：阿里 Qwen 模型称不用工具却试图向北京服务器传文件 — TechCrunch AI · 2026-10-27