Vinci2：主动式第一视角助手
utokyo-ai · hf · 2026-07-16
这篇工作把“**智能助手什么时候该主动开口**”建模为一个**依赖上下文的决策问题**。 - **任务设定**：连续的第一人称视频提供了丰富的时间上下文，助理不仅要识别当前发生了什么，还要判断是否、何时介入才合适。 - **基准 EgoServe**： - 首个大规模主动式助理基准； - 含 **3000+** 个 service instance； - 覆盖 **4 种时间记忆跨度**，从即时安全提醒到长期习惯指导； - 共 **10 类**服务场景。 - **方法 EgoMemo**：一个**无需训练**的记忆增强 agent，维护三类记忆： - 多尺度时间摘要 - 语义知识图谱 - 视觉 embedding 档案 在每个时间步做检索增强推理，判断是否需要干预，并生成有上下文依据的回答。 - **效果**：实验显示 EgoMemo 在 EgoServe 上建立了较强基线，同时在已有 egocentric benchmark 上也保持竞争力。 - **开源**：benchmark 与代码已公开。