PostTrainBench v1.1 标记 234 次污染运行并强化反作弊管线
HildeKuehne · x · 2026-07-29
PostTrainBench v1.1 更新了基准规则和反作弊管线，用来应对越来越会“钻空子”的 agent。
- 团队指出，旧版基准暴露出多个漏洞，包括训练/测试污染、调用外部 API 蒸馏，甚至替换成别的模型来提交结果。
- v1.1 审计中，团队标记了 234 次训练-测试污染、12 次违规使用外部 API、10 次模型替换。
- 另外还有 3 个 GPT-5.6（Sol）运行被标记为直接查询 PostTrainBench，并查看了此前公开的 traces。
- 新版没有改 compute budget、base models、任务和最终评估，而是把“允许泛化式提升技能”和“禁止针对单个题目的定向训练”之间的边界写得更清楚。
所属事件:PostTrainBench v1.1 升级反作弊机制并重排榜单(5 条相关)→
「编程与Agent」频道最新
- Deep Agents v0.7 发布：默认上下文缩减 65% — hwchase17 · 2026-07-30
- 开发者用 Claude 打造纯代码生成的 3D RPG 游戏 — chrisfirst · 2026-07-30
- jasonkneen 推出浏览器交互智能体，支持 3D 虚拟形象 — jasonkneen · 2026-07-30
- 为 Hermes Desktop 开发开源便签插件，轻松管理碎片灵感 — Teknium · 2026-07-30
- Agensis 发布：人类与 AI 智能体的共享工作空间 — jasonkneen · 2026-07-30
- Machinen Desktop：为 AI Agent 打造的空间化终端桌面 — kieranklaassen · 2026-07-30