新研究提出幂律图注意力机制，替代传统点积注意力
FromtheskyResearchLabs · hf · 2026-08-12
研究人员提出了一种全新的注意力机制——幂律图注意力。该机制使用可学习的幂律双线性算子替代了传统固定的缩放点积注意力。
研究不仅提供了经过验证的架构和稳定性测量，还配备了机器检查的数学证明。此外，论文也探讨了该机制在推理阶段可能出现的经验性坍塌现象。
「研究」频道最新
- Falcon-Perception 技术报告：0.6B 模型在分割任务上击败 SAM 3 — vanstriendaniel · 2026-08-12
- Falcon-Perception 0.6B 模型实现高效本地图像分割 — vanstriendaniel · 2026-08-12
- CEPR 论文：企业 AI 投入的经济影响与衡量框架 — TaniaBabina · 2026-08-12
- ECCV 2026论文LeAD-M3D：无需雷达的实时单目3D检测新SOTA — rsasaki0109 · 2026-08-12
- 开发者解决图像生成模型多轮编辑中的图像退化问题 — imdigitalashish · 2026-08-12
- InSight-doc：自适应视觉分辨率提升长文档理解并降幻觉 — Kaican Li · 2026-08-12