VIABench评测视障辅助能力
NJU · hf · 2026-07-17
研究团队提出 **VIABench**，这是一个面向视障辅助场景的综合视频基准，数据来自视障人士本人录制或分享的第一视角视频。它专门评估多模态大模型在真实辅助任务中的能力，覆盖三类核心任务： - **主动提醒**：识别视频中的持续内容，并提前提示即将到来的导航关键事件 - **视觉问答**：回答用户对环境或物体的提问 - **引导式交互**：在上下文中完成用户与环境之间的意图性交互 作者还设计了支持在线与离线两种评测方式的严谨流程。实验结果显示，当前多模态大模型在真实视障辅助上仍有明显不足，尤其是在需要提前判断和实时响应的主动提醒任务上。代码和数据将开源。