NTU 与阿里发布 FocusGUI：轻量适配器为 GUI 智能体动态筛选多模态证据

NanyangTechnologicalUniversity · hf · 2026-10-21

南洋理工大学、midori lab 与阿里巴巴合作提出 FocusGUI，针对 GUI 智能体处理流式全模态观察（截图、音频、视频、交互历史等）时的“序列性干扰”问题：无关上下文不断累积，错误随执行动作反馈进上下文而复合，导致不可逆的轨迹漂移。

FocusGUI 是一个轻量级适配器，实现“聚焦感知”——动态选择与当前动作相关的多模态证据，表达方式随步骤自适应且动作充分。它无需微调骨干模型即可提升动作准确率，防止误差级联。