TheoPhysEval：GPT-6-Astra 解研究级理论物理题准确率达 98%
IAmTimNguyen · x · 2026-10-15
arXiv 论文 [2610.16733] 发布 TheoPhysEval 基准：50 道未发表的研究级理论物理题，答案可验证，世界级专家单题通常一天内可解，相邻领域专家则更久。
- 在配备真实工具（文献检索、数值/符号计算脚本）的环境下，表现最好的 agent —— 在 Codex 中驱动的 GPT-6-Astra —— 以平均每题不到 3 美元的成本取得 98% 的接近满分准确率。
- 值得注意的反直觉发现：禁止联网搜索和背景论文后，agent 准确率仅小幅下降，作者据此推测存在明显的「记忆化」（训练数据见过类似内容）效应。
由 34 位作者合著（含 Jonathan Heckman、Suvrat Raju 等），是衡量 AI agent 自主科研能力的严肃基准。
所属事件:GPT-6 Astra 破解49/50道未发表物理难题，还纠出专家错误(4 条相关)→
「研究」频道最新
- ACCRUE:真实机器人持续 RL,新任务仅需 4-12 分钟交互达 95% 成功率 — coallaoh · 2026-10-15
- AI 在铜催化剂上找出 9389 个 CO2 转化反应,突破传统模型盲区 — emmanuelvivier · 2026-10-15
- SciVeri-Bench 招募各领域科学家,共建开放式科研 Agent 验证评测 — AkariAsai · 2026-10-15
- DuoDiscover 把评估变成搜索一部分,代码优化超越人类专家 — OfirPress · 2026-10-15
- 微众研究:AI Agent 评测指标受评委偏差污染,约五周即失效 — Exp_Mark · 2026-10-15
- R3Con 框架：3B 小模型超越 Claude Sonnet，成本仅 1/3.7 — StellaLisy · 2026-10-15