SciCode 基准被曝严重缺陷:65 题审计发现 263 处错误
teortaxesTex · x · 2026-09-04
博主 teortaxesTex 引用一项对 SciCode 基准的领域专家审计：全部 65 道测试题中发现了 263 处缺陷，其中 192 处（波及 91% 的主问题）会把正确且符合指令的解法错误判为不通过。作者还称，在 Verified 榜单上 V4-Flash-0731 的得分竟高于 Fable 5，暗示现行代码/科学类基准的可信度存疑，排名意义有限。
「模型」频道最新
- Space Bunny Alpha 实为 MiniMax M3.1 Flash：1M 上下文、主打性价比 — ZabihullahAtal · 2026-10-21
- Rork 界面现「Opus 5.5 Medium」选项,Anthropic 新模型或曝光 — rudrank · 2026-10-21
- RSI-Bench 首批任务通过验证管线,含 reward-hacking 检测与补丁 — SRSchmidgall · 2026-10-21
- 开发者吐槽 Anthropic 生物安全护栏：读篇论文就触发拦截 — robleclerc · 2026-10-21
- Reddit 用户称本地运行的未审查版 DeepSeek 对病毒提问毫无犹豫直接作答 — Only_Light_9817 · 2026-10-21
- Interconnects 第 25 期：盘点 28 个新模型，覆盖 DeepSeek V4.1 Flash 与中美新监管 — natolambert · 2026-10-21