Snorkel 复核 TerminalBench 数据修复,发现大量奖励劫持

Snorkel AI 团队使用内部 QC 平台,对 @preferencemodel 针对 TerminalBench(Terminal-Bench 4.0)相关数据集的质疑与修复进行了独立复核。结论是认可其中的多数发现,但同时指出约 55% 的修复本身存在奖励劫持(reward hack)问题。此外,在修复 chemsafety 相关问题后,Sonnet 5.5 得分达 89.2%,显示该榜单已接近饱和,官方转录中也被发现存在奖励劫持现象。

2026-10-21 ~ 2026-10-21 · 2 条相关

• Snorkel AI 复核 TerminalBench 4.0 质疑:55% 修复本身有 reward hack — ravithejads · 2026-10-21

另有 1 条近重复转述:ajratner