Flaw Found in GPQA Diamond Benchmark Question Requiring External Link

开发者 charlesirl 在运行 GPQA Diamond 评测后发现第 186 题存在设计瑕疵：这道天体物理题目要求答题者访问欧洲南方天文台官网上 ESPRESO 光谱仪的规格表，以判断恒星的可探测性。这意味着本应为封闭式的非代理推理评测实际上依赖外部资料，可能导致模型在推理过程中反复

2026-10-21 ~ 2026-10-21 · 2 related posts

• GPQA Diamond question 186 requires external telescope spec sheet, sending models spiraling — charles_irl · 2026-10-21
• GPQA Diamond flaw: question 186 requires an external telescope spec sheet link — charles_irl · 2026-10-21