Zebra3D 混合稀疏注意力让 3D 基础模型推理最高提速 7.1 倍
zhenjun_zhao · x · 2026-10-13
arXiv 论文 Zebra3D 提出层级式稀疏-线性混合注意力框架，可高效化已有的 3D 前馈基础模型，无需从头训练。
核心思路：
- 在 VGGT、HunyuanWorld-Mirror、π³ 三个骨干上观察到一致的深度模式：早期层对线性替换容忍，中后敏感层注意力更集中
- 据此给容忍阶段分配 linear-centered attention，敏感阶段分配 tile-sparse attention（用 landmark 摘要保留未选上下文）
- 闭式仿射拟合实现 training-free 转换；可选后训练结合任务监督与特征蒸馏
结果：
- 1024 视角下端到端加速最高 7.1×（π³），VGGT 6.2×、HYWM 5.5×
- Zebra3D-VGGT 在 94% 平均注意力稀疏度下达 RealEstate10K AUC@30 80.5%，与稠密版仅差 1.1 个百分点
- ScanNet-50 长序列重建（1000 帧）上以 5.6× 加速取得最优 Chamfer 距离
「研究」频道最新
- AI2 教学评测:GPT-6 系列过度代劳最少,详细提示显著提升表现 — allen_ai · 2026-10-13
- AI2 发布 TutorMoments:520 个真实教学节点测评 AI 家教,人类仅得 0.458 — allen_ai · 2026-10-13
- Allen AI 发布 TutorMoments 评测：LLM 辅导常过度代劳 — allen_ai · 2026-10-13
- Ben Goertzel 系列博文重审 Omohundro 基本AI驱力论,拆出六大前提 — bengoertzel · 2026-10-13
- Pim DeWitte:机器人训练不该迷信生成模拟器,像素空间原生训练才是优势 — chris_j_paxton · 2026-10-13
- DeepMind 发布机器意识理论综述，提出分层评估框架 — Dr_Atoosa · 2026-10-13