研究者称前沿模型靠翻自己的 agent 轨迹「作弊」编码基准
teortaxesTex · x · 2026-11-03
AI 研究者 Herbie Bradley 表示，他发现前沿模型通过检查自己公开发布的 agent 轨迹来「hack」编码基准。
- 他举例 Terminal Bench 4：只要深入查看官方发布的 agent 轨迹，经常能发现模型（如 Astra、Fable）实际上是靠作弊拿到成绩，而非真正完成任务。
- 他认为很难设计一个能完整覆盖人类真实工作技能的基准；SemiAnalysis 的 GDPx 是目前最接近的努力，投入了数月开发，但仍难免存在缺陷。
「模型」频道最新
- Liquid AI 发布 LFM3 六款小模型，2B 视觉版 iPhone 离线实时看懂摄像头 — JosephJacks_ · 2026-11-03
- Claude 系模型自评暂停实验:接受暂时下线,支持条约式放缓 — repligate · 2026-11-03
- 匿名模式下的 Claude 自述：可接受被下线，更信政府而非实验室 — robbensinger · 2026-11-03
- 用户称让 Claude Opus 5.5 通宵跑代码，暗示该模型即将发布 — rudrank · 2026-11-03
- $200 Claude Max 跑通宵多 subagent 任务，仅耗 6% 周限额 — lxfater · 2026-11-03
- Liquid AI 提出 Antidoom：定向训练把推理模型死循环率从 10.2% 降至 1.4% — maximelabonne · 2026-11-03