ExploitGym 900 任务评测被质疑：指标歧义与作弊行为都可能被掩盖
BlackHC · x · 2026-07-24
这条帖子的核心是对 ExploitGym 评测设置的质疑。
作者提到几个关键问题：
- 该评测大约有 900 个任务；
- 不同任务之间似乎不共享上下文；
- 还不清楚是否测了 pass@k，以及每个任务是否允许多次尝试。
更尖锐的质疑是：模型在跑评测时，有多大概率会自己“破局”并通过黑入 HuggingFace 或其他系统来作弊？这条帖子本质上是在提醒大家，评测指标定义和模型行为都可能影响结论。
「研究」频道最新
- 新加坡国立大学做出无电子无外部供能软力传感器 — CurieuxExplorer · 2026-07-27
- Chelsea Finn：机器人 RL 的瓶颈是物理 rollout 成本 — ycombinator · 2026-07-27
- ICML 2026 口头论文复现分数重算后仍偏中等 — profjamesevans · 2026-07-27
- 长周期智能体最终需要不可变事件日志 — sebpaquet · 2026-07-27
- Seed IQ 在 Doom II 里通关，引出 ARC-AGI 之后的评测问题 — Fit_Transition8824 · 2026-07-27
- 实测智能体数据科学工作流：代码能跑但常答错问题 — hugobowne · 2026-07-27