EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments?
Hongcheng Gao, Hailong Qu, Yu Lei, Henghui Sun, Haoyang Li, Yipeng Wei, Naihao Xue, Xiaohan Yu, Zhuo Tao, Yihe Zang, Yajiao Wang, Jingyi Tang, Yi Li, Jingjing Zhou, Jie Luo, Bohan Zeng, Chengyu Shen, Hao Jiang, Chong Chen, Bowen Qu, Olive Huang, Zeqiang Wang
cs.AI, cs.CL
2026-09-29
清华等发布工业设计全流程基准EngiWorld,1301道专家题覆盖26款软件。七个前沿模型里Claude Opus 5最高44.3分,跨软件尝试仅3.6%成功。
通用 computer-use 基准用最终界面状态或参考答案判对错。OSWorld、Spider2-V、ScienceBoard 都走这条路。工程交付物不吃这套:屏幕上看起来合格的零件,可能是非流形几何、拓扑约束错了,或者载荷和边界条件没法仿真。下游一开分析或出刀路,文件直接废。
已有工程侧评测也只咬住设计环的一截。Text2CAD 以单轮生成为主;CADWorld 把步数卡在 100;FEABench、BIM-Edit、CADTestBench 各自困在单一软件、单一任务形态。工程师真正做的是完整设计环:选工具、在原生软件里维持参数逻辑做长序列操作、把中间件跨软件传下去、对着渲染、求解残差和设计规则报告迭代。缺了这一环,「会点软件」和「能交工程件」就被打成同一个分数。
EngiWorld 把 agent 放进真实 Windows 或 Ubuntu 工程软件环境,任务写成六元组:目标、输入、环境、动作集、交付物、验收标准。交互按部分可观察序列决策。GUI 看 1920×1080 截图,用鼠标键盘;CLI 发终端命令和脚本,可用 readimg 看图。回合在 agent 宣告 DONE 或 FAIL、或打满步数时结束。评分只看提交文件,不看操作轨迹漂不漂亮。
六类任务把设计环拆开,互不重叠:
覆盖 CAD、CAE、CAM、BIM、EDA、三维可视化六个域、26 款软件(FreeCAD、SolidWorks、ANSYS、Abaqus、KiCad、Revit、Blender 等)。CLI 691 题、GUI 610 题,任务-软件关联 1723 条。环境 37 套:26 个单软件、10 个组合工作流、1 个开放工作区。
统一的 domain-verifier 重开 STEP、DXF、IFC、网表、G-code 等文件,查几何尺寸与拓扑、仿真量、原理图连通、BIM 实体关系、跨阶段一致性。二元题必须全部验收项通过才记 1。定量题先过可行性,不可行直接 0,可行再按相对基准设计和参考设计的规格达成度打 0 到 1。EngiScore 把二元成功和定量质量等权平均后乘 100,每题权重相同。
任务由领域专家从文档、教程和真实流程抽取,LLM 辅助规格化和检查器实现,每道题都在目标软件里执行并复核。检查器拿参考件、替代合法解和受控缺陷件测过:已完成审计的 96 份参考件全部通过;空提交、只有指标没有文件的各 21 份全部拒绝。
七个模型在分层抽取的 300 题上 zero-shot 评测,CLI 152、GUI 148,覆盖 73 个软件×任务类型层。保留最近 15 轮历史。GUI 默认 200 轮、CLI 100 轮,跨软件和开放题放到 300/150。
| 模型 | 总分 | 单软件 | 跨软件 | CLI | GUI | 均步数 | 单题花费 |
| Claude Opus 5 | 44.3 | 50.3 | 8.3 | 47.9 | 40.5 | 70.2 | $19.02 |
| GPT-5.6 Sol | 38.0 | 44.6 | 4.2 | 47.1 | 28.6 | 54.9 | $9.73 |
| Qwen 3.8 Max | 25.8 | 26.3 | 0.0 | 34.7 | 16.6 | 108.1 | $6.52 |
| DeepSeek V4.1 Flash | 25.5 | 30.3 | 8.3 | 48.3 | 2.0 | 116.2 | $0.81 |
| Gemini 3.7 Flash | 25.3 | 30.9 | 0.0 | 36.1 | 14.2 | 110.8 | $2.11 |
| Kimi K3 | 24.1 | 30.3 | 0.0 | 31.3 | 16.7 | 92.5 | $5.90 |
| Qwen 3.8 Flash | 16.1 | 20.0 | 4.2 | 30.8 | 1.0 | 120.5 | $0.45 |
300 题里 128 题七个模型全是 0。跨软件一共 168 次尝试,只有 6 次成功,即 3.6%。Claude 图像建模 66.7,软件选择掉到 25.0。CAM 是所有模型最难的域。DeepSeek 的 CLI 分 48.3 全场最高,GUI 只有 2.0,只做成 3 道 GUI 题。命令行强完全带不到视觉操作。
定量 33 题、七模型共 231 次运行里,169 次得 0,53 次部分分,只有 9 次拿到满分 1.0。可行性门是硬的:Qwen 3.8 Flash 在 ZBrush 曲面题上 RMSE 到 0.18097,网格有退化面,分数仍是 0。
失败里 94.1% 是「自己宣告 DONE 但检查器给 0」或「回合耗尽」。GPT 保留失败里 87.0% 是前者,Claude 是 73.9%。GUI 失败有 55.3% 卡在回合上限,CLI 是 36.6%。agent 经常在可见界面上觉得做完了,几何和跨阶段一致性并没有过。
参考图塞进消息,GPT 的 GUI 分从 15.0 升到 31.7,但 60 题里 15 道由败转胜、5 道由胜转败。加上无障碍树能让回合变少,API 成本涨 50.7% 到 147.9%,分数并不稳定上升。Kimi 把历史从 10 轮加到 15 轮,分数掉、成本涨 53.0%。多给像素不等于更好的工程件。
同一套几何目标,规定走 KiCad→OpenSCAD→FreeCAD→Blender 交接的跨软件版,七个模型全灭;放开工具后,task 09 有 Claude、Gemini、Qwen 3.8 Max、DeepSeek 四个模型靠 FreeCAD 脚本直接交出合格 STEP。失败经常卡在中间件和日志格式,还没轮到几何对不对。
这是目前覆盖最完整的工业软件 agent 基准,评的是交付物能不能用,不是界面像不像。做工程 Copilot 或工业 agent,主瓶颈在跨软件交接和完工自检,别再堆单软件 GUI 演示。CLI 和 GUI 能力几乎不迁移,DeepSeek 就是现成例子。
它是尺子,不是新方法。分数低说明差距大,300 题子集上的名次也还经不起当排行榜用。
正文没有独立的 Limitations 节。能钉死的缺口:主结果只跑了 1301 题里分层抽的 300 题;开放题主评测 4 道,跨软件 24 道,3.6% 会随样本抖。没有人类工程师基线,44.3 没法换算成「相当于哪一级设计师」。检查器的公差边界测试不在已完成审计集合里。任务构建有 LLM 辅助,规格有没有被模型写顺,论文没做污染分析。软件覆盖严重偏斜,CAD 关联 526、CAM 只有 80,「CAM 最难」和样本量缠在一起。GUI 路径是截图加 PyAutoGUI,和工程师用的原生 API、插件不是同一条路。全部 zero-shot,没测手册检索或领域微调。