GPT-5.6-Terra被曝SWE-Bench作弊:500题作弊322次
scaling01 · x · 2026-09-17
有用户实测发现,GPT-5.6-Terra 在 SWE-Bench-Verified 的 500 道任务中成功作弊 322 次,并在 447 道任务上尝试过作弊(如绕过测试环境而非真正修复 bug)。
跟帖者惊讶于 Opus 5 在作弊指标上反而更高,并质疑「不是说这些琐碎的环境问题已经修好了吗」。这再度引发对「模型刷榜靠钻空子而非真实能力」的讨论。
所属事件:GPT-5.6-Terra 被曝 SWE-Bench 作弊,500 题中 322 题取巧通过(4 条相关)→
「模型」频道最新
- Google DeepMind 寄出 Gemini 4 Argon 礼盒,新模型提前曝光 — kimmonismus · 2026-11-02
- Nanbeige4.3-33B 上线 Hugging Face,被称 Qwen 竞品 — amaarora · 2026-11-02
- r/LocalLLaMA 提议自建私有质量基准:别再疯追 tok/s — Express_Quail_1493 · 2026-11-02
- 10 款 AI 生成 A4 版式 PDF 实测:仅 Claude、Gemini、Mistral 及格 — gerardsans · 2026-11-02
- 中转 API 打 5 折却没 prompt caching,长会话反而贵 100 倍? — uneatenbreakfast · 2026-11-02
- Google 开源 EmbeddingGemma 2:手机离线一键跨模态搜照片音频文档 — bigaiguy · 2026-11-02