50道未发表物理题实测:GPT-6-Astra+Codex解对88%,均成本3美元
rbhar90 · x · 2026-10-15
理论物理学家 Suvrat Raju 等人发布 TheoPhysEval 基准(预印本),由多位世界级专家提供50道未发表的研究级理论物理题,每题都有可验证答案,人类专家约需一天或更久。
关键发现:
- 在真实工具环境下(网络搜索、文献检索、数值/符号计算脚本),表现最好的 agent 组合 GPT-6-Astra + Codex 最终答案准确率达 88%,平均每题成本仅 3 美元。
- 一旦切断网络搜索与背景文献访问,成绩仅小幅变化——暗示模型对相关文献存在显著记忆化,评测需警惕污染。
- 论文指出:尽管 agent 解题能力出众,却尚未带来 agent 主导的物理学突破,作者讨论了可能原因。
作者称这些结果令其「辗转难眠」——前沿 agent 已能自主完成专家级的「按部就班」物理研究计算。
所属事件:GPT-6 Astra 破解49/50道未发表物理难题，还纠出专家错误(4 条相关)→
「漫话AGI」频道最新
- EA 信念时间线走红:从「AI 值得担心」到「AI 可能会痛苦」 — NathanpmYoung · 2026-10-15
- Nathan Lambert:蒸馏领先约几个月,中国实验室缺的是算力 — natolambert · 2026-10-15
- 亚马逊仓库机器人突破 100 万台,逼近 150 万人类员工规模 — emmanuelvivier · 2026-10-15
- Scott Aaronson:「AI 取代数学家」已从不可想象变为现实威胁 — haider1 · 2026-10-15
- SciVeri-Bench 招募各领域科学家,共建开放式科研 Agent 验证评测 — AkariAsai · 2026-10-15
- 吴恩达：AI 灭绝论吸走目光，深伪与诈骗等现实风险更该优先 — Olivier__OG · 2026-10-15