社区激辩：低成本评测能否检验基准污染与刷榜

11 月 8 日，paulcal 与 teortaxes 就一项新评测设计展开激辩。paulcal 认为其聪明之处在于构建成本极低，可套用到大量现有 benchmark 上，作为对「理想结果」的稳健性检查，且与刷榜（benchmaxxing）仅弱相关。teortaxes 则补充指出，agent 明显会推理「自己为什么不做正确的事」，既可能通过新版本测试也可能拒绝执行，因此黑箱行为主义式的检验方法并不适用。

2026-11-08 ~ 2026-11-08 · 3 条相关