ConsiSpace 用几何一致性记忆把视频空间推理提升 12.6 分
Ting Huang · hf · 2026-07-22
ConsiSpace 是一个面向视频空间推理的框架，目标是解决导航感知、长视频问答这类任务里“看很多帧但空间关系老是算错”的问题。
方法要点
- 引入 geometry-consistency-aware memory，把隐式证据 token 和显式几何线索结合起来。
- 用更紧凑的证据组织方式，减少冗余观察，同时保留与任务相关的空间信息。
- 在 SFT 之后加入 UC-SSRL（Unified Consistency Self-Supervised Reinforcement Learning），奖励同时覆盖答案一致性、度量一致性和拓扑一致性。
实验结果
- 在 VSI-Bench、OSI-Bench、MMSI-Video-Bench 上评测。
- 相比最强基线，平均分提升 12.6 分。
这篇的核心结论是：视频空间推理要更稳，不能只学语义，还得把几何一致性显式纳入训练。
「多模态」频道最新
- Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27
- Midjourney --sref 实测：美式复古风 Batman 插画三连 — gizakdag · 2026-10-27
- AI视频既非电影也非动画，创作者称它最擅长呈现梦境与潜意识 — Kyrannio · 2026-10-27
- 把儿子 31 年前的童言写成歌再喂给 SUNO：一首「大象饮料」儿童合唱 — NathanpmYoung · 2026-10-27
- RTX 3060 本地产 AI MV 播破 20 万:900 张图留 64 张,3 秒切片防崩脸 — Hwang0500 · 2026-10-27
- Firefly 视频编辑器实测：一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26