Google 发物理工程「最后考试」:14 个前沿模型全部不及格
dl_weekly · x · 2026-11-12
Google AI & Infrastructure 团队联合 Mercor 发布新基准 Physical-Engineering's Last Exam(PLE),并开放竞赛与排行榜 ple-bench.com,测试前沿模型完成机械、电气、土木与结构工程任务的能力。
为什么需要新基准:现有基准大多是教科书式问答、单次工具调用或小型自包含设计题,前沿模型在这些基准上得分已超 90%,但无法检验 agent 能否在持证工程师的审核与控制下,产出安全、合规且具成本效益的设计。
结果:在 85 个长时程工程任务上,全部 14 个参评前沿模型得分均低于 50%,榜首模型的交付物中也只有 41.3% 通过了全部安全检查。Google 同时公开了 29 个任务及其评分工具。PLE 与 Humanity's Last Exam(通识知识)、Agents' Last Exam(数字专业工作)形成互补,专测"帮助建造物理世界"的工作。
「模型」频道最新
- Polymarket 开盘：年底中国公司登顶 AI 榜首概率仅 6% — Polymarket · 2026-11-12
- FutureHouse 打造 deslopper：Kosmos 报告可读性逼真专家手笔 — proteinrosh · 2026-11-12
- 开发者实测 Gemini 4 Carbon:Favicon 设计与微交互表现更出色 — AI_Andrew · 2026-11-12
- Gemini Decision 1 知识推理评测居首，靠校准胜出而非准确率 — ArtificialAnlys · 2026-11-12
- Gemini Decision 1 单百万任务成本 $345,为榜首 Drex Max 3 倍多 — ArtificialAnlys · 2026-11-12
- Gemini Decision 1 决策指数得分 66 未进前沿，成本高出对手 3 倍 — ArtificialAnlys · 2026-11-12