OSWorld-Persona 基准发布:深度个性化让主动助人时机判断提升2.4-3.0倍
EchoShao8899 · x · 2026-11-16
研究者构建了 OSWorld-Persona 基准,用于评估智能体「是否知道何时该主动提供帮助」:
- 基于 OSWorld 2.0,通过流水线把电脑操作录屏转化为个性化支持样本,共 108 个会话、6,558 个关键帧、3,259 个标注的主动支持决策,覆盖 4 类有不同协助偏好的用户画像。
- 同一屏幕在不同用户偏好下可能对应完全不同的决策。
实验显示,Deep Personalization(深度个性化)将 timing macro-F1 提升 2.4–3.0 倍:Qwen-3.5-9B 从 0.186 提到 0.483,Qwen-3.5-35B-A3B 从 0.183 到 0.433,Nemotron-3-Nano-Omni 从 0.118 到 0.349。
此外,由端侧 Observer 构建的上下文记忆也能改善「何时出手帮助」的决策。
所属事件:OSWorld-Persona 基准发布:评测智能体主动助人时机(2 条相关)→
「编程与Agent」频道最新
- 6个AI智能体协作设计公寓机电系统:4871次布局测试清零冲突 — minchoi · 2026-11-17
- 2026 年库的快速上手指南:直接给用户一条 prompt — MxMnr · 2026-11-17
- W&B Sweeps 接入 Optuna 与 Ax,一行 yaml 切换调参引擎 — coreweavedevs · 2026-11-17
- Every 实测 Gemini 4 Carbon:编码大幅进步,判断力仍输给 Fable 5.2 — every · 2026-11-17
- 多步 LLM 工作流如何定位哪一步烧钱?Reddit 开发者交流实践 — Youthify · 2026-11-17
- Gemini Managed Agents 支持自托管:模型在谷歌跑,工具在你机器上执行 — _philschmid · 2026-11-17