Holi-World:用第一视角采集构建空间智能训练管线
jiqizhixin · x · 2026-11-09
来自 Ropedia、南洋理工大学、港科大和北大团队的 arXiv 预印本 Holi-World,试图为空间智能提供一致刻画:物体在哪、哪些在动、观察者能看到什么。
- 数据管线:用立体 RGB + 惯性测量(IMU)的第一视角采集设备,重建相机几何与物体追踪,把静态/动态身份与三维轨迹结构化,再转化为问答监督数据,使语言回答与底层空间状态挂钩。
- 模型:基于 Qwen3.5-4B 微调出 HoliWorld-VL;在外部 EgoDynamic4D benchmark 上,token F1 从 18.29% 提升到 66.39%(注意这是微调结果,非 zero-shot 对比)。
- 评测:配有人工独立标注的 HoliWorld-Bench 用于下游验证,标注管线可对照人工标注校验。
「研究」频道最新
- Toby Ord 质疑:算力增长无法解释 METR 任务时长翻倍速度 — tobyordoxford · 2026-11-09
- 米兰理工提出 Velocity Matching:免仿真学习连续动力学的新目标函数 — PolitecnicodiMilano · 2026-11-09
- 港科大等提出动态门控通路:ViT 全层接入 LLM 提升多模态表现 — HKUST · 2026-11-09
- Toby Ord回应RL扩展质疑:时间跨度与算力或呈幂律关系 — tobyordoxford · 2026-11-09
- DeepMind AI 智能体携手密码学家,降低伪造 RSA-1024 签名成本 — Potential-Couple-745 · 2026-11-09
- 实测编码 Agent 仅 26% 任务全对,旧榜单已饱和 — emmanuelvivier · 2026-11-09