Work2Skill 从人类 GUI 演示提炼可复用 Agent 技能,评测全面领先
nex-agi · hf · 2026-10-12
上海交大、复旦等机构提出 Work2Skill 框架,把人类桌面 GUI 操作经验转化为 computer-use agent 可复用的技能。
- WorkRecorder:采集基础设施,对齐屏幕录制、鼠标键盘事件与 accessibility-tree 信息。
- WorkDemo-350:首个同步多模态人类桌面 GUI 演示数据集,350 条经完整性与任务成功筛选的演示。
- 技能归纳方法:agent 按需检查证据,产出包含工作流规则、步骤依赖与完成校验的可复用技能。
配备归纳技能后,四个执行模型在 MyPCBench Bounded Action 上较无技能基线平均提升 4.67–10.54 分,在 OSWorld-Verified 286 任务子集上提升 3.11–7.50 分,均优于对比方法。代码与数据已开源。
「编程与Agent」频道最新
- 22 分钟用 Claude Code 自动剪视频,HyperFrames 工作流走红 — toolstelegraph · 2026-10-12
- 独立开发者上线多语言宣传视频 Skill,单买 4.99 美元 — yihui_indie · 2026-10-12
- AI 客服裁员 33 人后，公司想把 Human-in-the-Loop 推广到销售侧 — chenggiskhann · 2026-10-12
- shadcn:软件重心正迁移到「意图」层,构建产品要围绕它 — shadcn · 2026-10-12
- DataTalks 播客两连发:好模型为何败于生产,LLM 评审如何校准 — Al_Grigor · 2026-10-12
- 工具调用返回 200 不等于 agent 真做成了:读完回写验证法 — Several-Yellow2713 · 2026-10-12