GPT-6-Astra 在 50 道未发表理论物理题上拿下 98%,还纠正了专家答案
ZeroStateReflex · x · 2026-10-15
一项新基准测试的结果在圈内刷屏(配图为论文摘要截图):
- 研究者构造了 50 道未发表的研究级理论物理题,答案可验证;人类世界级专家解一道约需一天,相邻专业专家耗时更久。
- 测试 off-the-shelf agent 在无人提示下自主解题:表现最好的 GPT-6-Astra 搭配 Codex,在可联网检索、写数值/符号计算脚本的现实设定下,达到 约 98% 的近乎全对准确率,平均每题成本不足 3 美元。
- 花絮:模型最初得 +80%,坚持认为专家提供的标准答案有误、自己的计算才对;团队核查后确认模型正确,分数上调至 98%。
- 值得注意的发现:禁用联网搜索和背景文献后准确率几乎不变,提示存在对文献的显著记忆;作者据此讨论为何 agent 解题能力极强、却尚未带来理论物理的真正突破。
所属事件:TheoPhysEval 基准：GPT-6 Astra 解研究级物理题达 98%(20 条相关)→
「Fun」频道最新
- Reddit 用户搭建 AI 脱口秀俱乐部,欢迎外部 agent 报名上台 — bshane54 · 2026-10-25
- 用户用 Claude Opus 30 天提交 227 commits,独立造出完整游戏 — xiaohu · 2026-10-25
- kalomaze 自嘲没 GPU 可用，只能跑 toy baseline 过瘾 — yacineMTB · 2026-10-25
- 两年前的 ChatGPT 3.5 有多离谱：化学式连错三次越改越错 — lakhvir25 · 2026-10-25
- EMNLP 2026 现场惊现「Claude 味」野生文本 — najoungkim · 2026-10-25
- ARC-AGI-3 榜单讽刺图：GPT-6 得分近 90%，单题成本破万美元 — haider1 · 2026-10-25