GPQA Diamond 现瑕疵:186 题需访问望远镜规格书外部链接
charles_irl · x · 2026-10-21
开发者 charlesirl 在跑 GPQA Diamond 评测后发现,第 186 题包含一个欧洲天文台望远镜规格表的链接,答题需要访问该外部资料——而这本应是一个非 agentic 评测。
模型的推理轨迹显示其在无法打开链接时彻底崩溃。他吐槽「人们还是不看数据」,指出该知名 benchmark 存在数据质量问题,依赖它的模型对比结论可能并不可靠。
所属事件:GPQA Diamond 被发现有题需访问外部望远镜规格链接(2 条相关)→
「模型」频道最新
- Reflection 开放权重模型 Beam 1.0 限时免费上架 Nous Portal — alexcovo_eth · 2026-10-21
- Karpathy：当模型思维链不再说英语，就知道 RL 真练到位了 — joeddav · 2026-10-21
- Devin Fusion 双模型协作得 68 分，成本比 Claude Code 低 31% — ArtificialAnlys · 2026-10-21
- Perplexity 开源 pplx-decider 决策模型,成本仅 GPT 6 Luna 十分之一 — Balance- · 2026-10-21
- Ascend 950DT 跑 DeepSeek-V4.1 吞吐仅 GB200 的 1/5-1/7，但优化空间仍大 — teortaxesTex · 2026-10-21
- Gemini 4 Carbon 曝光:已进 EAP 并登陆 LMArena,3D 能力显著超越 Argon — lyraxana · 2026-10-21