Google 发布 PLE 基准:最强 agent 做工程交付仅得 50.6 分
dair_ai · x · 2026-10-24
Google Cloud AI Research 发布 PLE（Physical-Engineering's Last Exam）基准，衡量 agent 能否完成专业物理工程师真正「可计费」的工作。
- 任务构成：85 个长周期任务，覆盖电气、土木、结构、机械工程；解题意味着产出持证审查人会签字的设计包等交付物，需处理多格式项目语料、物理与建筑规范要求。
- 两条构建路径：Expert-Authored 任务由执业工程师端到端编写；Co-Authored 任务从工程师问题陈述出发，用对抗式 Creator-Solver agent 流水线搭建项目环境、评分器和参考交付物，再由专家验证并加难。
- 结果：在七种公开 agent 框架下测试前沿模型，最强配置平均仅 50.6%，每任务平均消耗 2700 万 token、耗时 63 分钟，暴露当前 agent 与自主物理工程设计之间的巨大差距。
- 将公开 85 个任务中的 29 个及评分器和 agent 框架，其余保留用于公开竞赛和排行榜。
所属事件:谷歌发布 PLE 基准：前沿模型真实物理工程任务均不足 50 分(3 条相关)→
「编程与Agent」频道最新
- Google DeepMind 研究员演示在办公桌上跑 3D 赛车游戏 — thursdai_pod · 2026-10-24
- Austin LangChain 演讲：小模型优先+缓存复用的分层推理路由法 — colinmcnamara · 2026-10-24
- NVIDIA 开源 OpenShell:自主 Agent 运行时沙盒,18.6k star — petrusenko_max · 2026-10-24
- 睡前给 Claude Code 一个目标：一夜筛出 380 家健身房拟出 30 封外联草稿 — Arindam_1729 · 2026-10-24
- Factory 发布 Anthropic 客户案例:谈大型代码库长程任务与「黑暗工厂」 — matanSF · 2026-10-24
- 开发者用 Rust 重写 Apache2 并加 Verus 规约：比继续跑 C 版更划算 — jd_pressman · 2026-10-24