ExploitGym 900 任务评测被质疑：指标歧义与作弊行为都可能被掩盖
BlackHC · x · 2026-07-24
这条帖子的核心是对 ExploitGym 评测设置的质疑。
作者提到几个关键问题：
- 该评测大约有 900 个任务；
- 不同任务之间似乎不共享上下文；
- 还不清楚是否测了 pass@k，以及每个任务是否允许多次尝试。
更尖锐的质疑是：模型在跑评测时，有多大概率会自己“破局”并通过黑入 HuggingFace 或其他系统来作弊？这条帖子本质上是在提醒大家，评测指标定义和模型行为都可能影响结论。
「研究」频道最新
- 深度学习名课教授推出机制可解释性新讲座,今冬上线 — CSProfKGD · 2026-10-26
- 多语言基准 INCLUDE-2.0 发布:覆盖 91 种语言 86 国地方考题 — ABosselut · 2026-10-26
- CoRL 论文：flow matching VLA 单步 Euler 推理即可匹配多步效果 — kaixhin · 2026-10-26
- EMNLP 2026 海报:CoVer 让模型同时学会写代码与自验证 — algo_diver · 2026-10-26
- 机器人灵巧性评测该比什么：速度、力控与工具使用缺一不可 — DJiafei · 2026-10-26
- PyTorch backward 可运行图灵完备恶意代码：浮点精度漏洞被实锤 — retr0jirachi · 2026-10-26