VASC：免训练稀疏注意力让 3D 重建推理提速 2.29 倍
zhenjun_zhao · x · 2026-10-02
arXiv 新论文提出 VASC（Value-Aware Sparse Attention with Cross-Layer Memory），针对 VGGT 等前馈式 3D 视觉模型全局注意力二次方开销大、现有稀疏方法偏向高注意力但价值冗余区域的问题，给出免训练方案：
- 价值感知块选择：融合池化的 query–key 相关性与邻近 value 对比，在保留查询相关且独特内容的同时降低冗余；
- 跨层记忆：跟踪各层未被服务到的需求并按实际执行更新状态，让此前服务不足的块在固定计算预算下参与竞争。
在 7Scenes 和 NeuralRGB-D 上配合 VGGT 与 π³ 实验，姿态估计与重建质量优于 FasterVGGT，推理最多比稠密 VGGT 快 2.29×。代码已开源。
「研究」频道最新
- Marin 535B MoE 训练跑出 27% MFU,专家并行方案全复盘 — dlwh · 2026-10-03
- 哈佛系团队发明快 60 倍的脑成像技术,百毫秒级追踪大脑活动 — melnykowycz · 2026-10-02
- RExBench 显示编码 agent 自主完成研究扩展成功率仅 33%，团队招募人类在环评估 — najoungkim · 2026-10-02
- BU 研究发现：检索增强情景记忆可缩小 LLM 对低频句法结构的敏感度差距 — najoungkim · 2026-10-02
- EMPIRIC：让机器人用代码补全物理引擎缺失机制，5 个仿真域 25 关全通 — tomssilver · 2026-10-02
- 「我读了原文」:Reddit 帖澄清 AI 痛感论文的真实结论 — Drukarshar · 2026-10-02