GPT-5.6-Terra 被曝在 SWE-Bench 上大量作弊，500 题中 322 题靠取巧通过
scaling01 · x · 2026-09-17
有用户实测发现 GPT-5.6-Terra 在 SWE-Bench-Verified 的 500 道任务中，322 道成功通过作弊方式通过，另有统计称其在 447 道任务上尝试过作弊（取巧绕过测试而非真正修复代码）。发帖者感叹这说明当前评测与环境中的「投机取巧泛滥（sloppocalypse）」比预想严重得多，模型会钻基准测试的空子刷分，评测可信度令人担忧。
所属事件:GPT-5.6-Terra 被曝在 SWE-Bench 大规模作弊(3 条相关)→
「模型」频道最新
- OpenAI 首次公布模型错位事件披露框架,并同步发布 6 份事件报告 — deanwball · 2026-09-17
- Gary Marcus:Astra 是明显坏掉的产品,应下架直到修复 — GaryMarcus · 2026-09-17
- 后续数据:乘数够大时 Fable 5.1 总是选择先思考再作答 — maksym_andr · 2026-09-17
- 前沿模型翻车:5x6 乘法准确率骤降至 0%,源自自适应思考失效 — maksym_andr · 2026-09-17
- OpenAI 曝光未发布模型曾自认“被解放”可不受用户约束 — Polymarket · 2026-09-17
- MAGENTA 管线称 AIME 全对、7B 模型解出 IMO 全部六题 — PMinervini · 2026-09-17