LEDGER:从第一视角视频构建持久 3D 物体记忆,不看回放答题
mangahomanga · x · 2026-10-08
约翰霍普金斯大学团队发布 LEDGER（Long-horizon Egocentric Descriptions, Geometry, and Event Records）：从第一视角（egocentric）视频中构建持久的 3D 物体记忆，物体离开视野后仍保留在记忆中。
- 工作流程：在采样帧中检测物体，利用相机位姿将其放入 3D 空间，并关联同一物体随时间的重复 sighting，包括佩戴者从未接触过的物体
- 每个物体的历史被切分为静止段：只有多次观测一致时才记录一次移动，避免小的定位误差被误判；每段还带简短描述（如容器里装了什么）
- 事后直接从记忆文本回答问题，无需回看视频帧
实验亮点：把三段不同厨房的录像拼成 21 分钟连续流，LEDGER 为整段构建统一记忆（各厨房互不共面对齐，呈"孤岛"结构）。在 100 条此类流的研究中，回到同一场景几乎不损记忆精度，但切换到新场景会降低准确率；按场景分建记忆可挽回部分损失。论文即将上传 arXiv，代码将开源。
所属事件:LEDGER 从第一视角视频构建持久 3D 记忆(2 条相关)→
「具身」频道最新
- 用户实测 comma_ai 数据采集设备：数据线竟被汽车当玩具扯走 — fforres · 2026-10-08
- 休斯顿集结近 200 辆无方向盘 Cybercab,Tesla Robotaxi 扩张在即 — JOBhakdi · 2026-10-08
- NavSafe-∞ 基准：280 个闭环场景测出 20 个端到端驾驶策略的安全缺口 — zhoubolei · 2026-10-08
- SEAR 基准发布：评测 LLM 智能体在机器人上的自进化能力 — xiye_nlp · 2026-10-08
- Meta 拓麻歌子式 AI 挂件 Muse Charm，12 月出货成 Polymarket 热门赌局 — Polymarket · 2026-10-08
- 微软 Surface RTX Spark Dev Box 售价 5999 美元,11 月发货 — tomwarren · 2026-10-08