DeskForge 生成 120 万条桌面标注,GUI grounding 准确率提升 11.5 点
docling-project · hf · 2026-10-07
docling-project 发布 DeskForge：一个可控桌面环境，通过组合真实应用并变化应用状态、窗口布局、外观和分辨率，为 computer-use agent 生成大规模密集监督数据。
- 产出 DeskForge-1M 语料：120 万条标注桌面观测、1.597 亿个元素实例，融合截图、无障碍树与窗口几何信息，并记录每个执行动作的结果。
- 用 20 万条 grounding 样本微调 4 个 VLM，全部在 5 个外部 GUI grounding 基准上提升；Qwen3.5-4B 在 ScreenSpot-Pro 提升 11.51 个百分点、OSWorld-G 提升 10.11 点。
- 收益延伸到长程任务：固定 planner 下，微调后的 Qwen3.5-4B 在 WebArena-Infinity 从 31/119 提升到 50/119，OpenApps 从 3/100 提升到 15/100。
- 框架代码、数据集与微调模型已开源。
「编程与Agent」频道最新
- YC 总裁用 Opus 5.5 花 20 分钟把 Doom 移植进 Paul Graham 的 Bel 方言 — garrytan · 2026-10-07
- L0pht 传奇黑客谈 AI 代码安全：「让它安全」不是一句 prompt — WeldPond · 2026-10-07
- 合同审查 Agent 评测为何极难：十位顶级律师改出十种红线稿 — graceisford · 2026-10-07
- Reddit 工程师吐露 AI 时代审码倦怠:每天审 20 个没人真正写过的 PR — Specialist_Agent3599 · 2026-10-07
- COLM 2026 现场：研究员探索通用一次性 Agent 与演化知识库的 RSI 新范式 — yisongyue · 2026-10-07
- KNOWS 基准发布:联合评测 Agent 搜索、工具与视觉理解三能力 — anmarasovic · 2026-10-07