Google 发布 PLE 基准:85 项真实工程任务,最强 agent 仅 50.6 分

rohanpaul_ai · x · 2026-10-29

Google Cloud AI Research 团队在 arXiv 发布 PLE: Physical-Engineering's Last Exam,首个测试大模型能否完成真实、可计费的物理工程工作的基准。

• 任务构成:85 个长程 agentic 任务,覆盖电气、土木、结构、机械工程;每任务是一个真实工程交付物,需跨多格式项目语料(PDF/表格/CAD)建模物理与法规要求、优化材料与安装成本、产出可让持证审核人签字的 2D/3D 设计包。
• 构建方式:Expert-Authored 任务由执业工程师端到端编写;Co-Authored 任务由对抗式 Creator–Solver agent 管线搭建项目环境、可执行评分器与参考交付物,再经工程师验证与难度强化。
• 结果:七种公开 agent harness 下,最强配置平均分仅 50.6%,每任务平均耗 2700 万 tokens、63 分钟,与自主物理工程设计差距显著。
• 开放计划:公开 85 题中的 29 题(含评分器与 harness),其余保留用于公开赛与排行榜。

原文链接 →

「编程与Agent」频道最新

• 作者最高星仓库已全是 vibe coding + vibe PR：1 小时写完过 LFAN — ChongZzZhang · 2026-10-29
• Vercel 发布 Agentic CI：内部仓库 CI 提速 2-6 倍 — shuding · 2026-10-29
• Celesto AI 让 GitHub Actions 跑在其云主机上,按任务秒起秒销 — aniketmaurya · 2026-10-29
• GitHub 月 commits 达 74 亿,今年新增 400 万 CPU 核心应对 agent 浪潮 — ai · 2026-10-29
• AI agent 编程时代 CI 提速五招：过期跑测试直接取消 — aniketmaurya · 2026-10-29
• Agent 被 Greenhouse 限流后自动读取邮箱验证码继续投简历 — arthurcolle · 2026-10-29

更多「编程与Agent」频道 AI 资讯 →