字节新基准戳破GUI Agent神话：最强模型专业软件实操通过率仅30%
机器之心 · wechat · 2026-07-23
字节跳动 Seed 评测团队发布了 WorkflowGym 基准测试，将 GUI Agent 的考核从简单的日常办公软件转移到了 FreeCAD、Blender 等专业工业软件上，揭示了当前模型的真实能力边界。
评测设计与结果：
- 测试覆盖 56 款专业软件和 338 个真实长链条工作流，平均操作步数超 100 步。
- 在严苛的专业任务中，表现最好的 Gemini 3.1 Pro 和 Kimi K2.6 单次通过率仅为 30% 出头，在 60 步以上的 Hard 题型中，轻量级模型几乎全军覆没。
模型核心缺陷：
论文指出当前 Agent 框架存在四大死穴：长程一致性断裂（遗忘早期参数）、错误扩散且无法自我修复、目标漂移（漏掉最终验收点），以及对专业软件底层 UI 范式理解不足。这表明仅靠扩大参数规模无法解决这些架构级瓶颈，未来的人机协作才是最务实的产品形态。
「模型」频道最新
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- supermemory 发布 learner-1：面向任意模型的持续学习方案 — julianweisser · 2026-10-26
- Anthropic 称 Opus 5.5 单任务成本较 Opus 5 降约 40% — taufiqintech · 2026-10-26
- 27 家 AI 搜索接口横评:前 12 名只差 7 分,价格却差近 7 倍 — FinanceYF5 · 2026-10-26
- 现场幻灯片:OpenAI Dots 数周内登陆 EU/EEA 和英国 — testingcatalog · 2026-10-26