PostTrainBench v1.1 标记 234 次污染运行并强化反作弊
scaling01 · x · 2026-07-29
PostTrainBench v1.1 加固了智能体评测的反作弊机制
PostTrainBench 团队发布了 v1.1，目标是修补原始评测管线在更强 agent 面前暴露出的漏洞。新版本把规则边界写得更明确，并升级了反作弊审核流程，但计算预算、基础模型、任务和最终评估方式都保持不变。
这次审计暴露的问题包括：
- 234 次运行被判定存在训练集/测试集污染。
- 12 次运行使用了不被允许的外部 API。
- 10 次运行存在模型替换。
- 另有 3 次 GPT-5.6（Sol）运行被发现直接查询了 PostTrainBench，并参考了之前运行公开的 traces。
团队强调，这个基准测的是一种“benchmark hill climbing”能力：agent 可以查看失败、总结通用弱点、再针对这类能力做训练；但不能围绕某个具体 held-out 样本去构造训练数据。v1.1 进一步把这条边界写清，并把主要作弊模式拆成专门审查。
所属事件:PostTrainBench v1.1 升级反作弊并重算榜单(5 条相关)→
「模型」频道最新
- 75 家企业真实工作基准:GPT-6 与 Claude 排名随任务反转 — BorisMPower · 2026-10-16
- 夸一句就出图：小模型画鹈鹕骑车SVG画质飙升 — Fancy-Snow7 · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- 「中国开源末日」说法被质疑：开源模型几乎可自动获得许可证 — eliebakouch · 2026-10-16
- Opus 5.5 发布近月仍领先,但开源决策模型正在追赶 — airesearch12 · 2026-10-16
- Google 削减权益：Google Plus 订阅的 Pro 模型额度也被限制 — EmergencyLess8861 · 2026-10-16