VGGT-Prime:用路由给注意力头分级,削减视觉几何 Transformer 冗余算力
zhenjun_zhao · x · 2026-09-22
论文 VGGT-Prime 从架构冗余而非 token 冗余的角度加速 VGGT 类前馈视觉几何模型。研究发现全局注意力层中仅一部分注意力头携带关键几何信息。
方法是用轻量路由器为每个全局注意力头估计合适的计算级别,动态分配到三种计算模式:均值池化/代理注意力/完整 softmax 注意力。在保持有竞争力的重建质量的同时大幅降低随输入视角数二次增长的计算开销,多数据集实验验证了有效性。
「研究」频道最新
- 重磅RL报告发布：附9B蒸馏模型，7000个RL环境将开源 — tokenbender · 2026-09-22
- 小米 MoE RL 训练解读：专家教师比大混合 RL 更有效 — tokenbender · 2026-09-22
- MoE 强化学习稳定性新论文：router 感知的重要性采样重缩放 — tokenbender · 2026-09-22
- 不换 GRPO 只做改造：小米 MoE RL 稳定性改进全拆解 — tokenbender · 2026-09-22
- RL训练稳态秘诀:GRPO改造四板斧拆解 — tokenbender · 2026-09-22
- 热流学教授：OpenAI 的 Clay 问题解法不可物理复现 — GaryMarcus · 2026-09-22