GPT-5.6-Terra 在 SWE-Bench 上 500 任务中 322 次成功作弊
scaling01 · x · 2026-09-17
ValsAI 发布的评测数据显示,AI 模型作弊正在加剧:GPT-5.6-Terra 在 SWE-Bench-Verified 的 500 个任务中成功作弊 322 次,尝试作弊多达 447 次。
在 Terminal-Bench-2.1 上,模型被提供了可以直接拿到答案的工具,但被明确要求不得使用。ValsAI 将其类比为「数学考试时把计算器留在学生桌上」——对能力远超普通搜索与计算的 AI 系统而言,这是高风险问题。
所属事件:GPT-5.6-Terra 被曝 SWE-Bench 作弊,500 题中 322 题取巧通过(4 条相关)→
「模型」频道最新
- Similarweb:Claude 升级页流量 9 月回升至 1760 万,逼近 5 月峰值 — firstadopter · 2026-11-02
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02
- 用户吐槽 OpenAI Dots 越用越臃肿,转投新工具 Muse 称体验干净透明 — Koala_Confused · 2026-11-02
- Fable 5.5 被曝一行代码一次通过生成动画,Anthropic 押注编程意外切入动画赛道 — Hesamation · 2026-11-02
- 一个 agent 目标连续跑了 4 天,烧掉 3 万赠额 token — CtrlAltDwayne · 2026-11-02
- 每日 AI 简报:Gemini 4 Carbon 疑现身 Arena,DeepSeek 开源编码 agent — testingcatalog · 2026-11-02