疑似评测泄漏：前沿模型全答错一道答案本身有误的 GPQA 题
qberthet · x · 2026-11-12
gbarthmaron 发现所有前沿模型在一道 GPQA Diamond 天体物理题上全部答错，但经他核算，题目标注的「正确答案」本身可能就是错的。他给出题目细节：两颗恒星（质量分别为太阳的 1.5 和 1.2 倍），在 LTE 假设下用等值宽度法测得各元素丰度（[Si/Fe]1=0.3 dex、[Mg/Si]2=0.3 dex、[Fe/H]1=0、[Mg/H]2=0），太阳光球 12+log10(nFe/nH)=7.5、12+log10(nMg/nH)=7，要求计算两星 光球硅原子数之比。qberthet 转发并向天体物理背景人士求证：究竟是模型集体翻车，还是 GPQA 数据集混入了错误标注。
「模型」频道最新
- 让多个 LLM 玩 Among Us,Haiku 5.5 杀人后立刻自首 — Rasmic · 2026-11-12
- Kimi K3.1-Pro 去审查版上线 HF,宣称移除95%安全拒绝 — zebird0 · 2026-11-12
- 写给工程师的 LLM 原理入门：从分词到幻觉的一次串讲 — _jaydeepkarale · 2026-11-12
- 数学基准新成绩单曝光:GPT-6.1 Sol 90.43% 居首,低成本模型表现亮眼 — teortaxesTex · 2026-11-12
- 开源模型 Inkling 2 Small 登顶 MathArena BrokenArXiv 榜 — teortaxesTex · 2026-11-12
- 硅谷AIE大会观察：判断小模型成刚需，四家八周内抢跑 — FinanceYF5 · 2026-11-12