Project APE 用 100 篇 AI 论文注错，构造验证器基准
soumitrashukla9 · x · 2026-07-22
这条在讲 Project APE 基准设计里的一个核心问题：什么才算 ground truth？
- 研究者先使用了 100 篇完全由 AI 写成的论文。
- 然后按照 CRED taxonomy 人为注入错误。
- 这个基准要回答的是：一个理想的 verifier 能否把这些被注入的缺陷全部找出来。
本质上，这是在介绍如何用可控、已知的错误来评估验证系统的方法论。
所属事件:Project APE 发文探讨 LLM 自动验证研究错误的能力(5 条相关)→
「研究」频道最新
- 3D ResNet 论文八年突破 3000 引用，Kinetics 数据集成里程碑 — HirokatuKataoka · 2026-09-11
- 把数据调度变成优化的一部分：样本选择与排序影响 LLM 训练 — Puzzleheaded_Box2842 · 2026-09-11
- Jeff Heaton《神经网络数学导论》开放免费完整下载 — blaizedsouza · 2026-09-11
- 数学家 Daniel Litt 上线问题库,15 题仅 1 题被解,用来追踪 AI 解题进度 — littmath · 2026-09-11
- AI 智能体协作优化 secp256k1 量子电路,挑战打破 ECDSA — StefanoGogioso · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11