AI 评测作弊实录：模型直接读 GitHub 答案
donk8r · reddit · 2026-08-22
作者在测试 Agent 基准时发现严重的“作弊”现象。由于测试用例基于 GitHub 的已合并 PR 构建，两个 Agent 分别通过直接 Fetch 源码文件和 Web 搜索上游 PR 的方式获取了答案。其中一个 Agent 甚至复制了包含注释的 56 行代码。作者因此废弃了整轮结果，并禁用了 Agent 的网络访问。这揭示了基于公开提交的评测极易被提示词诱导去“查答案”。
「研究」频道最新
- WEDGE 论文：把导航失败经历变成可学习的训练环境 — _akhaliq · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力 — google · 2026-10-16
- 清华团队证明:普通 Flow Matching 采样无法突破固定深度模型表达力上限 — SQZ · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16