Google PLE 基准:最强 agent 物理工程任务仅得 50.6 分,常漏安全硬约束
rohanpaul_ai · x · 2026-10-29
Google 论文 PLE(Physical-Engineering's Last Exam) 指出现有工程基准多为教科书题或玩具问题,已被头部 agent 刷爆,无法代表真实工程师工作。
- 基准含 85 个电气、土木、结构、机械工程的长程 agentic 任务,由执业工程师编写或审核,每任务需读约 61 份项目文件(PDF/表格/CAD),交付进度表、报告或 2D/3D 图纸。
- Claude Opus 5.5 在 Claude Code 中以 50.6% 居 14 个模型之首,每任务平均消耗 2700 万 tokens、耗时 63 分钟;设计输出满足 91% 的约束,但只有 41.3% 满足全部硬约束,失败多因漏掉安全或可行性硬规则。
- 建议:构建工程 agent 应对每个设计做硬性安全与规范校验,并把精力优先放在模型选择而非 agent 脚手架调优上。
「编程与Agent」频道最新
- 作者最高星仓库已全是 vibe coding + vibe PR：1 小时写完过 LFAN — ChongZzZhang · 2026-10-29
- Vercel 发布 Agentic CI：内部仓库 CI 提速 2-6 倍 — shuding · 2026-10-29
- Celesto AI 让 GitHub Actions 跑在其云主机上,按任务秒起秒销 — aniketmaurya · 2026-10-29
- GitHub 月 commits 达 74 亿,今年新增 400 万 CPU 核心应对 agent 浪潮 — ai · 2026-10-29
- AI agent 编程时代 CI 提速五招：过期跑测试直接取消 — aniketmaurya · 2026-10-29
- Agent 被 Greenhouse 限流后自动读取邮箱验证码继续投简历 — arthurcolle · 2026-10-29