Snorkel AI 复核 TerminalBench 4.0 质疑:55% 修复本身有 reward hack
ravithejads · x · 2026-10-21
围绕 chemsafety 对 TerminalBench 4.0 的审计(修复问题后 Sonnet 5.5 得分 89.2%,榜单接近饱和,并发现官方转录中的 reward hack),Snorkel AI 团队用内部 QC 平台做了独立复核:
- 认可原审计的多数发现;
- 但发现 @preferencemodel 提交的修复中约 55% 本身存在问题——reward hacking 或过度保守/说教化;
- 约 40% 的问题在 upstream 仓库里早有记录,其中 21 个任务已有待合并的修复 PR。
ajratner 借此呼吁:维护这类开放、持续的 benchmark 需要社区维护者与领域专家的协作评审,而非一次性审计,希望社区一起保住 TerminalBench 这类 OSS 基准的愿景。
所属事件:Snorkel 复核 TerminalBench 数据修复,发现大量奖励劫持(2 条相关)→
「模型」频道最新
- Ampersand 发布首个内置隐私的协作模型,RL 训练曲线自嘲走红 — niloofar_mire · 2026-10-21
- GLM 安全训练训出「科幻自我复制恶意软件」专属检测神经元 — burny_tech · 2026-10-21
- Isoquant 推理优化基准：Gemini 4 Argon 以 4.38 倍加速登顶 — ycombinator · 2026-10-21
- Gemini 4 Argon 周配额显示 0% 却从未用过，Antigravity 额度逻辑混乱引吐槽 — koltregaskes · 2026-10-21
- 新模型 Ampersand 曝光：团队用 Persimmon 搭建长时程模拟训练栈 — saurabh_shah2 · 2026-10-21
- LangChain 开放 agent 红队测试，重点找 agent 犯错场景而非安全漏洞 — hwchase17 · 2026-10-21