谷歌联合 Mercor 发布工程基准 PLE,85 项任务全部前沿模型低于 50%
teortaxesTex · x · 2026-11-04
Google 与人才公司 Mercor 及多位高校科学家(斯坦福吴佳俊、NYU Saining Xie 等)合作发布新基准「Physical-Engineering's Last Exam (PLE)」,首个端到端测试 AI agent 真实物理工程能力的基准。
要点:
- 85 项由执业工程师审核的长程任务,覆盖结构(10)、土木(18)、电气(27)、机械(30)四个工程领域,涉及计算、图纸与设计评审
- 私有测试集上,前沿 agent 模型全部低于 50%:Claude Opus 5.5 得 48.3% 居首,GPT-6 Astra 45.8%,Claude Sonnet 5.5 43.5%,Gemini 4 Argon 40.6%,Claude Opus 5 40.0%
- 排名显著分化:GLM 5.2 得 25%,DeepSeek-V4.1-Flash 14.4%,Kimi K2 Thinking、MiniMax M2、Qwen3 系列及开源小模型均在个位数
- 在合作设计的任务上,最强 agent 能满足 91% 的单项约束,但整体完成度仍有限
评论者 teortaxesTex 称这一结果与此前同类评测「同一幅图,甚至更糟」,印证前沿模型在高难度工程任务上的瓶颈。
「模型」频道最新
- 用 Codex 四天近乎崩溃：自审承认 16 处失败，还得靠 Claude 收尾 — v0id_user · 2026-11-04
- shadcn 谈 Opus：代码「品味」无法靠短期 benchmark 验证 — shadcn · 2026-11-04
- 用户吐槽 Claude「Ultrafast」模式：限额度烧得快 8 倍，不如推出省额度的 flex 速度档 — Lucky_Creme_5208 · 2026-11-04
- OpenAI 撤销 Codex 逆向工程禁令,与 Anthropic 安全路线渐行渐远 — AccBalanced · 2026-11-04
- Haiku 也能做出 Opus 级动画?作者实测称看不出明显差距 — Lazar988 · 2026-11-04
- Mistral Large 4 实测：133 个 agent 挖出并修复 Django CVE 漏洞 — MistralAI · 2026-11-04