GPQA Diamond 被发现有题需访问外部望远镜规格链接

开发者 charlesirl 在运行 GPQA Diamond 评测后发现第 186 题存在设计瑕疵：这道天体物理题目要求答题者访问欧洲南方天文台官网上 ESPRESO 光谱仪的规格表，以判断恒星的可探测性。这意味着本应为封闭式的非代理推理评测实际上依赖外部资料，可能导致模型在推理过程中反复

2026-10-21 ~ 2026-10-21 · 2 条相关

• GPQA 天体物理题需查外部望远镜规格,模型推理疯狂内耗 — charles_irl · 2026-10-21
• GPQA Diamond 现瑕疵:186 题需访问望远镜规格书外部链接 — charles_irl · 2026-10-21