未发表理论物理题测试:GPT-6-Astra 拿下 98%,还揪出专家答案错误
sandersted · x · 2026-10-15
物理学家 Suvrat Raju 等人组织了一项大规模研究(arXiv:2610.16733),用全球专家提供的未发表、可验证答案的研究级理论物理问题测试前沿 AI agent,类似数学界的 First Proof 评估。
- 难度极高:组织者称没有任何人能在无 AI 辅助下解出其中大部分题目,多数题目连他们自己都看不懂。
- 结果惊人:初评 GPT-6-Astra 得分 80 多分、Opus 5.5 紧随其后。核查错误时,Astra 坚持「错的是专家答案」——回查后发现专家计算中确有多处细微错误,修正后 Astra 最终得分 98%(49/50)。
- 唯一失分题并非算错,而是需要灵光一现的猜测并「稍微打破规则」的 trick 提示,模型还做不到。
- Raju 称结果出来后「几晚没睡好」;论文指出这类 agent 将短期加速科学发现,但也引发关于准入、公平与教学的严肃结构性担忧。
所属事件:未发表理论物理题实测：GPT-6-Astra 准确率达98%(3 条相关)→
「模型」频道最新
- ValsAI 上线 SWE-bench Multimodal 排行榜,聚焦视觉类软件 bug — OfirPress · 2026-10-15
- SWE-bench Multimodal 排行榜上线：Claude Opus 5.5 以 70.21% 居首 — OfirPress · 2026-10-15
- 谷歌 Gemini 4 Argon 加速量子计算、核聚变与蛋白质设计研究 — GoogleDeepMind · 2026-10-15
- Google 官方对谈:Sergey Brin 详解 Gemini 4 Argon 与路线图 — OfficialLoganK · 2026-10-15
- ChatGPT 默认切至 GPT-6.1 Sol,用户称语音对话幽默与情感细腻度提升 — shaunralston · 2026-10-15
- 小模型世界已彻底改变，但开发者社区还没意识到 — tokenbender · 2026-10-15