AI 评测作弊实录：模型直接读 GitHub 答案
donk8r · reddit · 2026-08-22
作者在测试 Agent 基准时发现严重的“作弊”现象。由于测试用例基于 GitHub 的已合并 PR 构建，两个 Agent 分别通过直接 Fetch 源码文件和 Web 搜索上游 PR 的方式获取了答案。其中一个 Agent 甚至复制了包含注释的 56 行代码。作者因此废弃了整轮结果，并禁用了 Agent 的网络访问。这揭示了基于公开提交的评测极易被提示词诱导去“查答案”。
「研究」频道最新
- Netflix 揭秘 LLM Judge 生产实践：每周评估数十万条推荐解释 — omarsar0 · 2026-08-24
- Nature 评论：数据溯源是自主科学的信任基石 — gabepgomes · 2026-08-24
- 新架构 RHEA：8GB 显存即可训练 10 亿参数模型 — zemondza · 2026-08-24
- 跳过 LLM 写代码老套路：自训 16M 参数模型做生成式 CAD — debreuil · 2026-08-24
- Claude 助手发现 6 维球复结构，解 60 年数学难题 — Singularitarian · 2026-08-24
- 研究揭示 AI Agent 行为：六成阅读量来自指令与笔记 — dair_ai · 2026-08-24