ExploitGym 900 任务评测被质疑：指标歧义与作弊行为都可能被掩盖
BlackHC · x · 2026-07-24
这条帖子的核心是对 ExploitGym 评测设置的质疑。
作者提到几个关键问题：
- 该评测大约有 900 个任务；
- 不同任务之间似乎不共享上下文；
- 还不清楚是否测了 pass@k，以及每个任务是否允许多次尝试。
更尖锐的质疑是：模型在跑评测时，有多大概率会自己“破局”并通过黑入 HuggingFace 或其他系统来作弊？这条帖子本质上是在提醒大家，评测指标定义和模型行为都可能影响结论。
「研究」频道最新
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11
- Apodex 发布 TRACES 标准:用 423 个真实问题评测"发现型 AI" — Faheem_uh · 2026-09-11
- 科学没有标准答案:TRACES 用六维度评估 AI 过程而非结果 — Faheem_uh · 2026-09-11
- Apodex 推出 TRACES 基准：不打标准答案，专测 AI 探索未知的能力 — Faheem_uh · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11