论文提出 CRED 分类法与基准，评测研究错误检测器
soumitrashukla9 · x · 2026-07-22
这条转发概述了一篇研究：作者提出了三件事来推进“验证器”评测。
- 先建立一个 CRED taxonomy 和版本化代码本，统一定义“研究错误与缺陷”的类别。
- 再做一个带确定性评分的基准，量化验证器识别真实错误的能力。
- 最后按时间维度评估不同验证器，包括模型和评测框架本身。
配图补充了若干错误类型示例，例如：
- PTI：论文正文与表格数值/结论不一致；
- PCI：论文内容与代码行为不一致；
- EXE：代码无法端到端复现，或表格无法从当前代码重建；
- DAT：输入数据是合成、伪造或经过结果值变换的。
所属事件:Project APE 发文探讨 LLM 自动验证研究错误的能力(5 条相关)→
「研究」频道最新
- rauchg 复现 OpenAI 发现：无网络微VM 也能借 CPU 争用 covert 通信 — ccerrato147 · 2026-10-27
- FlexGlue:稀疏到稠密特征匹配，速度与精度兼得并可甄别误配图像对 — zhenjun_zhao · 2026-10-27
- Mundo:几张照片重建可探索的世界模型,8 卡 GPU 也只有 1.5 FPS — mark_k · 2026-10-27
- INRIA 研究员将于 ENS 报告「作为实验科学的数学」:LLM 参与数学研究 — marc_lelarge · 2026-10-27
- 美国能源部 Genesis Mission 二期落地:AI 进军粒子加速器与稀有同位素分离 — prescott · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27