可编辑工件或是检验 Agent 视觉理解的更佳基准:还原 PPT 流程图胜过截图

OliviaYii · reddit · 2026-09-30

• 一个研究团队做了一个新 benchmark:给编码 agent 一张科学流程图,要求仅用原生可编辑对象把它重建为 PowerPoint 幻灯片。
• 核心洞见:输出格式本身能揭示 agent 到底理解了什么。渲染后的图像可以看起来大致正确,却掩盖结构性错误——连接线指向错误节点、对象只是「看起来」分组,agent 甚至可以复现像素而不恢复任何底层结构。
• 可编辑工件让这些捷径更难走:每个方框、标签、连接线、图层都是可检查的对象图的一部分,结果不仅展示 agent 产出了什么,还记录了它如何分解视觉输入。
• 作者认为这一思路可推广到更多任务:用 HTML 替代网站截图、用可编辑图表替代平面图片、用 CAD 几何替代渲染、用公式与单元格关系替代表格预览。
• 帖子提出开放问题:如果 agent 产出看起来正确但底层结构错误,算不算解决了任务?还有哪些 agent 任务适合要求结构化、可编辑输出?

原文链接 →

「编程与Agent」频道最新

• 新玩法：自举「最优结果形状」的自动研究循环 — burny_tech · 2026-09-30
• Stack Overflow 现身 OpenAI DevDay，谈 Codex 助力新架构 — pchandrasekar · 2026-09-30
• 模型变强≠可删封装层：反方观点称复杂 agent 外壳仍在烧 token — max_paperclips · 2026-09-30
• 用 Groq + Hindsight 搭一个能从反馈中学习的代码审查 Agent — pasulabhavya · 2026-09-30
• OpenAI Dots 开源复刻 Open-Dots 24 小时斩获 4500+ GitHub 星 — matchaman11 · 2026-09-30
• Graphsub 推内存图数据库：别把 Agent 数据托付单一 AI 公司 — arthurcolle · 2026-09-30

更多「编程与Agent」频道 AI 资讯 →