Project APE 推出 CRED 测试 LLM 自动验错能力
soumitrashukla9 · x · 2026-07-22
Project APE 提出 CRED，测试 LLM 能否自动验证研究错误
这条帖子分享了一篇新论文 《Verifying the Verifiers: Towards Autonomous Policy Evaluation》，以及配套的新基准 CRED。
- 研究动机是：随着生成“看起来像真的”政策评估论文越来越容易，验证可能会成为瓶颈。
- 团队用 CRED 评测了 60+ 个 LLM，看它们能否自动检查关键研究错误。
- 配图展示了按模型发布日期划分的成本-召回前沿，对比了 Mistral NeMo 12B、DeepSeek V4 Pro/Flash、Hunyuan 3、Kimi K2.6、GLM 5.2、Codex 5.6 Luna high 等模型。
- Project APE 的长期目标，是把政策评估做成一个能自主学习、便宜且可靠地规模化验证的系统。
所属事件:Project APE 发文探讨 LLM 自动验证研究错误的能力(5 条相关)→
「研究」频道最新
- 剑桥等机构论文揭露图软提示的 token collapse 病态行为 — Sapienza · 2026-10-27
- UniAction 统一动作条件框架:单一世界模型驱动多种动作类型 — ZeYanjie · 2026-10-27
- Infini-AI Lab 开源 Hermit:让 agent 从经验中进化出好习惯 — BeidiChen · 2026-10-27
- Meta FAIR 提出 Self-Direction:把 agent 失败变成 LoRA 技能,成功率提 13.8pp — karen_ullrich · 2026-10-27
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27