专题 · FULL STORY

TheoPhysEval:GPT-6 Astra 攻克研究级物理题

由 ICTS、哈佛、东京大学、Google DeepMind 等机构三十余位物理学家联合发布 TheoPhysEval 基准,含 50 道未发表的前沿理论物理难题。评测显示 GPT-6 Astra 解出约 98% 的题目,还能指出专家出题中的错误,引发持续关注与讨论。

2026-10-15 ~ 2026-10-25 · 3 集 · 25 条

第 1 集 · TheoPhysEval 基准:GPT-6 Astra 解研究级物理题达 98%(2026-10-15,20 条)

物理学家 Suvrat Raju 等人(论文含 34 位作者,题源涵盖 Harvard、Duke、东京大学等机构专家)发布 TheoPhysEval 基准(arXiv:2610.16733),用 50 道未发表、答案可验证的研究级理论物理题测试前沿 AI agent,思路类似数学界的 First Proof 评估。在配备真实工具(文献检索、数值/符号计算脚本)的环境下,GPT-6 Astra 解出 49/50 题,得分 98%,平均每题成本不到 3 美元;模型还坚持认为基准中若干专家答案有误,团队复核后确认模型正确——它发现了世界级物理学家计算中的细微错误,成绩因此从初评的约 80% 上调至 98%。消息经 @ESYudkowsky、@joshbickett、@ZeroStateReflex、@DrSingularity 等人转发后在圈内刷屏,Freddy Vega 的原推截图成为传播焦点。

已确认

  • 基准由多位世界级专家出题,每题答案可验证;人类专家单题通常需一天或更久,相邻领域专家耗时更长。
  • GPT-6 Astra(Codex 环境)在真实工具环境下解决 49 题,98% 准确率,单题平均成本低于 3 美元;据 @rbhar90 转述,另一配置 GPT-6-Astra+Codex 解对约 88%,均摊成本约 3 美元一题。
  • 模型曾坚持认为基准中若干专家答案是错的;团队复核后确认模型正确,是其发现了世界级物理学家计算中的细微错误,成绩相应从约 80% 修正为 98%。
  • 据 @alejandroll10、@ZeroStateReflex 转述,初评中 GPT-6 Astra 得 80 多分、Opus 5.5 紧随其后。
  • @CatAstroPiyush 引用的报告指出,题集中不少原本是训练初级研究者的入门研究题,如今已不再适合布置给新手研究者——除非目标仅是入门。

为什么重要

  • 这是首次用未发表研究级物理题做的大规模 AI 评估,规避了训练数据污染问题。
  • 结果显示前沿 AI 已能在理论物理研究级任务上接近满分,甚至能纠正顶级专家的计算错误;@haider1 提及 Noam Brown 将此与此前 GPT-5.5 在数学证明上的类似剧本相提并论,「模型坚持己见、最终被证实正确」正成为可复现的模式。
  • 排名动态(初评落后于 Opus 5.5、纠错后反超至 98%)也提示:模型对「标准答案」的坚持可能指向基准本身的错误,评估流程需要复核机制。

第 2 集 · GPT-6 Astra 解出 98% 未发表理论物理难题并纠出专家错误(2026-10-18,2 条)

在由 ICTS、哈佛、东京大学、Google DeepMind 等机构物理学家联合出题的 TheoPhysEval 评测中,50 道未发表的前沿理论物理难题(涉及量子场论、全息理论等)被用于测试 AI 能力,据称顶尖物理学家每道题需耗时一天才能解出。结果显示 GPT-6 Astra 解出了其中 98%,成本仅约每题 3 美元,还反向发现并纠正了人类专家此前的计算失误,引发广泛关注。

第 3 集 · DeepMind 新基准 TheoPhysEval:GPT-6 Astra 解出 49/50 研究级物理题(2026-10-24,3 条)

Google DeepMind 联合三十余位多校理论物理学家在 arXiv 发布新基准 TheoPhysEval,包含 50 道未发表的研究级理论物理题,每题约相当于世界专家一天的工作量,且答案可验证。测试 5 个现成 AI agent 后,GPT-6 Astra 解出其中 49 道,准确率达 98%,甚至纠正了专家答案中的错误。