PLE: Physical-Engineering's Last Exam
Rujun Han, Yufan Zhuang, Arijit Ray, Han Yu, Zoey CuiZhu, George Lee, Yifei Ming, Binz Roy, Varun Sakalkar, Vishy Tirumalashetty, Burak Gokturk, Tomas Pfister, Chen-Yu Lee
cs.AI
2026-10-22
这组基准覆盖电气、土木、结构与机械，共八十五道可计费交付，Claude Opus 5.5 配 Claude Code 均分百分之五十点六，单题约花两千七百万个 token 和六十三分钟。
前沿模型在常见知识基准上已经超过 90%。工程基准仍大多是课本问答、单次工具调用，或能塞进提示词的玩具设计。EngiBench Level 2 上领先模型超过 80%，Frontier-Eng 里最强 agent 在 97.9% 的任务上打败原基准。这些分数离一套可计费、能送去持证复核的设计包还远。
物理工程同时受物理定律和有法律效力的规范约束，图纸要持证签字。美国土木工程师学会估计，2024 到 2033 年美国基础设施资金缺口为 3.7 万亿美元，美国工程服务业年收入超过 3000 亿美元。GDPval 和 APEX-Agents 用专家比较或量表。两份导线表可以每条规范都过，安装成本仍相差 20% 以上。
PLE 有 85 道长程任务：机械 30、电气 27、土木 18、结构 10。工单用同事口吻。沙箱里是 PDF、表格、DXF/DWG/IFC 和邮件，共 5170 个文件，平均 60.8 个，最多 207 个。要交的是备忘录、计算书、设备表或图。
44 道由 Mercor 的在职工程师写完，共用 12 套环境，平均 62.8 个文件、约 3.0 MB，几乎全是文档。评分是 941 条加权二元检查，平均 21.4 条。关键数字权重 10，格式项权重 1，由 LLM 阅读交付文件。有的工单要求把第二段小计改成 1,303,717.70 美元，写进待签字备忘录，数字散落在造价表和图纸里。
另 41 道从工程师简报出发，走 Creator-Solver 循环。Creator 用 Claude Opus 5 跑在 Claude Code 里，按可再分发的规范和图档搭环境、可执行评分器和参考答案。Solver 用同一模型跑在 Hermes 里，盲做 3 次，看不到评分器。均分过高就加约束或补文件。持证工程师再核，并可以继续加难。这路平均 58.7 个文件、38.1 MB，是专家路线的 12.6 倍，含作废版等干扰。交付从平均 1.1 个文件增到 4.9 个。十道结构题都在这路。
多数共同撰写题按 s = 0.4p + 0.6GO' 计分。p 是约束通过率。G 是硬约束门：安全或可行性有一项失败，G 就为 0，经济项消失，分数只剩 0.4p。O' 衡量比朴素但已经合规的方案好多少。追最低造价时，O = cbound / c，cbound 是任意合规方案造价的有证书下界。仅仅合规，经济分是 0。权重放在硬约束一侧，避免危险方案靠低价刷分。
MEP 是机电与消防管线的综合。设备厅一题有 8 个输入文件、128 个机柜，要布电缆桥架、母线、冷冻水管和喷淋，零碰撞且全部接通。另有两道场地题、两道 MEP 题用一票否决：硬碰撞或漏接一排，MEP 记 0%；场地不可行，上限 50%。
评测交叉了 14 个模型和 7 个 harness。harness 指模型外面的工具循环。GPT 6 Astra 只跑 Codex，Grok 4.7 只跑 Grok Build，一共 86 组。单次预算 6 小时，评分在容器外，每题 3 次取平均。专家量表由 Claude Opus 5.5 判读。29 题计划连同评分器和 harness 公开，其余 56 题不公开，留给公开竞赛和排行榜。
最强组合是 Claude Opus 5.5 加 Claude Code：均分 50.6%，单题标价 17.18 美元。任务中位数 43.5%，85 题里 48 题低于 50%。每题挑最好的 harness，仍有 35 题低于 50%。这个组合有两题三次都是 0%，七题高于 90%。土木 69.9% 最容易，电气 50.7%，结构 46.6%，机械 40.5% 最难。专家题 53.1%，共同撰写题 48.0%。在这个模型的七个 harness 里，共同撰写都更低。
| 组合 | 均分 | 单题成本 |
| Claude Opus 5.5 + Claude Code | 50.6% | 17.18 美元 |
| Claude Opus 5.5 + OpenHands | 49.9% | 14.82 美元 |
| GPT 6 Astra + Codex | 48.3% | 9.15 美元 |
| Gemini 4 Argon + Claude Code | 43.2% | 8.21 美元 |
| Gemini 3.8 Flash + Claude Code | 28.2% | 2.55 美元 |
GPT 6 Astra 低 2.3 分，费用大约一半。Gemini 3.8 Flash 用大约 15% 的费用，拿到第一名大约 56% 的分数。再往下，Claude Sonnet 5.5 在 Antigravity 为 45.2%，Claude Opus 5 最好为 42.6%，Grok 4.7 在 Grok Build 为 32.0%，Gemini 3.1 Pro 为 14.2%。Qwen3 Coder 480B、MiniMax M2、Kimi K2 Thinking、Llama 4 Maverick 都低于 7%，其中 Llama 4 Maverick 加 Claude Code 为 0.4%。
模型比脚手架要紧。Opus 5.5 的七个 harness 只从 Pi 的 47.3% 到 Claude Code 的 50.6%。固定模型时，harness 极差 0.7 到 12.1 分，中位 3.0 分，模型之间大约差 50 分。费用不顺着分数涨。同一个 Opus 5.5，Codex 拿 49.3% 要 35.15 美元，OpenCode 拿 47.4% 只要 12.53 美元。最贵的八组全是 Claude 模型，单题 27 到 54 美元，分数 33.8% 到 49.3%，都低于 17.18 美元那一组。
这个最强组合平均每题 2700 万 token、63 分钟。共同撰写题要 3930 万 token、97 分钟，专家题 1560 万 token、31 分钟。255 次里只有 11 次是 0 分。共同撰写的交付项平均满足 91% 的约束，但只有 41.3% 过完每一条硬约束，于是拿不到经济分。全部 86 组的运行里，23.2% 是 0 分。这些零分中，25.3% 没有可评分文件，4.3% 超时或崩溃，70.4% 交了文件仍被打成 0。
量表做过复判，对象是 Claude Opus 5.5 的 1159 次 LLM 判分运行。再判一次 Opus 5.5，条目一致率 98.7%（κ = 0.97），均分不变。Claude Opus 5 一致率 95.8%，分数高 3.3（摊到总分约高 2.1）。Gemini 4 Argon 一致率 95.5%，高 1.3（摊到总分约高 0.9）。升高几乎都在量表题上。三个判官下 Claude Code 都是第一。只看 Claude Code 的 44 道量表题，Gemini 4 Argon 抬高 3.6 分，Opus 5.5 复判只抬高 1.3 分，论文把这 2.3 分的差记为合并后的自偏好。集合均分稳，该组合三轮是 52.0%、49.3%、50.6%。单题不稳：三次极差平均 15.4 分，595 个单元格里 105 个至少跨 30 分。
PLE 提供的是测量。题目、环境和评分器把最好组合按在 50.6%，并指出丢分处：约束通过率 91%，一次过完全部硬约束的交付项只有 41.3%。差的是同时做完安全、可行，再把造价往下界推。
换模型能差出大约 50 分，换 harness 中位大约 3 分，相近分数的花费却可以差一倍以上。报 PLE 得同时写上模型和 harness。公开的 29 题够做回归测试。全量按每题 63 分钟、2700 万 token 来跑，成本不低。
专家量表的判官就是榜首 Claude Opus 5.5。另有 12 个共同撰写评分器把 3 到 6 条叙述交给同一模型。复判说明绝对分会随判官上移，已测的三个判官下 Claude Code 仍第一。头条 50.6% 把 LLM 量表和程序算的经济分混在一起，两把尺子不一样。
定难度用的 solver 是 Claude Opus 5 加 Hermes。三次均分太高就加约束或改目标，这个模型找过的捷径会被堵上。最后第一仍是 Opus 5.5。题的形状拟合过一个 Claude solver，阈值没有和后来的受测模型分开交代。
没有持证工程师的同卷分数。写一道专家题平均支付 4,663 美元，校验并加难一道共同撰写题平均 3,157 美元。支付标准说明人工不便宜，人在同一卷上能拿多少分仍然空缺。对照物是评分器满分。
44 道专家题共用 12 套环境，样本不独立。单题极差大，单题名次不可读。GPT 6 Astra 和 Grok 4.7 只出现在一个 harness 里。0.4 与 0.6 的权重、造价下界松紧，正文都没有敏感度实验。场地和 MEP 的一票否决会把近失打成 0 分。环境由工程师从零编写，或取自允许再分发的公开资料，尚未落到事务所正在担责的在施项目。