EngiWorld 基准:最强模型工程软件得分仅 44.3,跨软件任务成功率 3.6%
zhiman-ai · hf · 2026-09-30
EngiWorld 是首个围绕完整设计流程构建的专业工程 Agent 基准,揭示前沿模型在工业工程自动化上的巨大能力缺口:
- 任务规模:1,301 个专家精选任务,覆盖 6 个工程领域(CAD、CAE、CAM、BIM、EDA、3D 可视化)和 26 个专业软件平台,提供 GUI 与 CLI 双接口,6 种任务类型。
- 评测方法:以产出物为中心的统一域验证器,程序化检查几何有效性、物理可行性与规则合规;量化设计任务按规格达成度连续打分而非二元判定。
- 结果:7 个前沿模型中,最强模型 EngiScore 仅 44.3;多软件协同尝试的成功率只有 3.6%。为衡量端到端操作专业工程软件的 Agent 进展提供首个严格基准。
「编程与Agent」频道最新
- alphaXiv 开源 OpenResearch 桌面版：把编码 Agent 变科研 Agent — gekobraa · 2026-09-30
- 开源项目号称「Agent 记忆的梯度下降」引热议 — Saboo_Shubham_ · 2026-09-30
- awesome-llm-apps 破 14 万星：100+ 开源 AI Agent 模板免费用 — Saboo_Shubham_ · 2026-09-30
- 谷歌向 CNCF 捐赠 Agent Substrate，剑指智能体运行时底座 — rakyll · 2026-09-30
- Git 2.56 发布：新增 git add --resolved 只暂存已解决冲突 — DanielLockyer · 2026-09-30
- OpenAI 揭秘:一年让 computer use 快 10 倍,双 Agent 架构是关键 — johncoogan · 2026-09-30