清华等机构发布EngiWorld:26款工程软件测AI智能体,最高仅44.7分
青稞AI · wechat · 2026-10-13
清华大学、重庆大学、中国科学院大学、北京大学与ZhimanAI等机构提出EngiWorld,把智能体评测推进到真实工程流程:设计散热板要在AutoCAD绘图、SolidWorks建模、Abaqus热分析之间切换并保持尺寸、单位与物理条件正确。
基准包含1,301个任务、26个软件应用,覆盖CAD、CAE、CAM、BIM、EDA和数字内容创作(DCC),含610个图形界面任务和691个命令行任务,分六类:单软件执行、软件选择、视觉引导建模、设计优化、跨软件协同和开放环境工程。验收程序会重新打开提交文件,检查尺寸、实体、材料、载荷与连接关系。
七个模型评测306个分层任务,Claude Opus 5以44.7分的EngiScore领先,七个模型在129个任务上全部得零分。跨软件协同最弱:24个任务尝试168次仅成功6次(约3.6%),散热板案例中导入比例错误在软件恢复后再次出现,最终未能完成热分析。论文:arxiv.org/abs/2609.37686
「编程与Agent」频道最新
- Supabase 一键给应用装 MCP 服务器:ChatGPT/Claude 可直接调用你的应用 — dshukertjr · 2026-10-23
- Grok Bot 配「专属电脑」:浏览器+终端+云端文件系统直接干完任务 — nima_owji · 2026-10-23
- Neon 推出 TanStack AI 官方 AI Gateway 适配器,一个凭据调用多家模型 — matei_zaharia · 2026-10-23
- Reflection AI 演示 Beam 接入 opencode,自动微调 Gemma-4 准确率提升 66.5% — danielhanchen · 2026-10-23
- Cua 推出 Spaces SDK:让 Hermes 等 Agent 跑在你自己的电脑沙箱里 — Teknium · 2026-10-23
- PHP 爆两个未认证 RCE 漏洞,ProjectDiscovery 推全网免费告警服务 — cyb3rops · 2026-10-23