GPQA 天体物理题需查外部望远镜规格,模型推理疯狂内耗
charles_irl · x · 2026-10-21
作者 charlesirl 跑 GPQA Diamond 后发现第 186 题(天体物理)存在设计问题:题目要求使用 ESO 官网上 ESPRESO 光谱仪的规格表来判断恒星可探测性,但这并非 agentic 评测,模型无法真正访问链接。
从配图看,被测模型(qwen-3-8b-27b-openrouter,约 4.4 万 completion tokens、延迟 663 秒)在 10 万字符的推理链中对如何获取/模拟 ESCO ETC 的 throughput 参数反复纠结,甚至考虑"是否该用第一性原理自己推"、"也许可以从 ESO 文档重构零点",展现出明显的 spiraling。
这暴露了 benchmark 设计中的现实问题:依赖外部资料却按封闭式评测打分,会放大模型的幻觉与内耗。
所属事件:GPQA Diamond 被发现有题需访问外部望远镜规格链接(2 条相关)→
「模型」频道最新
- 马斯克:Grok Bot 增长史上最快,企业版数周内大规模部署 — elonmusk · 2026-10-21
- Google 高管：Gemini 4 Argon 上线 72 小时处理约 25 万亿 tokens — OfficialLoganK · 2026-10-21
- GPT-6.1-Sol 推理轨迹流出：去掉空格后仍是熟悉的 GPT 原始风格 — teortaxesTex · 2026-10-21
- Gemini 4 在 FrontierMath Tier 4 仅得 78%，远低于 OpenAI 阵营 — haider1 · 2026-10-21
- Hamel Husain 看了 48 小时公开 benchmark trace:质量差到令人难以置信 — HamelHusain · 2026-10-21
- 163MB 语音模型 Bark 3.0 开源,以小胜大击败 Whisper 与 Parakeet — Scobleizer · 2026-10-21