SciCode 基准被曝严重缺陷:65 题审计发现 263 处错误
teortaxesTex · x · 2026-09-04
博主 teortaxesTex 引用一项对 SciCode 基准的领域专家审计：全部 65 道测试题中发现了 263 处缺陷，其中 192 处（波及 91% 的主问题）会把正确且符合指令的解法错误判为不通过。作者还称，在 Verified 榜单上 V4-Flash-0731 的得分竟高于 Fable 5，暗示现行代码/科学类基准的可信度存疑，排名意义有限。
「模型」频道最新
- 早期用户实测 GPT-6 Astra:8 分钟用 Blender 捏出狼人,17 分钟造出世界模拟器 — TheMoonMidas · 2026-09-04
- swyx 烧掉 200 亿 token 深测 Astra:训练模型、标注数据全包,成本低至每小时 6 美元 — charliermarsh · 2026-09-04
- ARC-AGI 主办方：给模型套超强提示词，测的是人不是模型 — GregKamradt · 2026-09-04
- mitsuhiko 看完 Astra 发布:模型能力加速没有任何放缓迹象 — mitsuhiko · 2026-09-04
- Astra 每 token 贵 2.5 倍仍更省:按任务计价反超 sol 与 fable — 12exyz · 2026-09-04
- Astra 用量按「messages」计，OpenAI 帮助页口径引用户追问 — Original-League-6094 · 2026-09-04