OSWorld-Persona 基准:108 段录屏评测智能体何时该主动帮忙
EchoShao8899 · x · 2026-11-16
EchoShao8899 介绍 OSWorld-Persona:一个评测智能体「何时主动提供帮助」的基准,通过流水线把计算机操作录屏转化为个性化支持样例。
- 基于 OSWorld 2.0 构建,含 108 个会话、6,558 个关键帧、3,259 条主动支持决策标注,以及 4 种对辅助偏好不同的用户画像
- 同一屏幕内容在不同用户偏好下应做出不同决策
- 隐私方面采用端侧部署:Observer 本地运行、跳过冗余帧、以观察优先于适配;针对主模型与投机草稿模型定制 prefix-cache 复用,快速切换训练与推理
- 流水线含五步:录屏采集、基于变化检测选关键帧、构建输入(用户画像+滚动观察)、两阶段标注(感知屏幕/判断是否该提供支持并给理由)、按画像按时间切分训练测试集
「编程与Agent」频道最新
- Google Chrome 招聘高管:为 Agent 时代重塑浏览器 — laparisa · 2026-11-16
- 被收购 3 个月后 Cursor「半死」?Hugging Face 转投 Codex 与 Claude — NielsRogge · 2026-11-16
- 3-4 个 prompt 用 Codex 做出 DJI 麦克风录音应用,官方转发点赞 — OpenAIDevs · 2026-11-16
- Polestar Formula 2030 概念界面做成 shadcn UI 组件可直接安装 — shadcn · 2026-11-16
- $300 订阅跑出 $7492 用量:用户晒账单称值回 25 倍 — theteknosaur · 2026-11-16
- Agent 安全警报:推理端点就是数据边界,谁跑模型谁看你的记忆 — krishnan · 2026-11-16