Project APE 推出 CRED 测试 LLM 自动验错能力
soumitrashukla9 · x · 2026-07-22
Project APE 提出 CRED，测试 LLM 能否自动验证研究错误
这条帖子分享了一篇新论文 《Verifying the Verifiers: Towards Autonomous Policy Evaluation》，以及配套的新基准 CRED。
- 研究动机是：随着生成“看起来像真的”政策评估论文越来越容易，验证可能会成为瓶颈。
- 团队用 CRED 评测了 60+ 个 LLM，看它们能否自动检查关键研究错误。
- 配图展示了按模型发布日期划分的成本-召回前沿，对比了 Mistral NeMo 12B、DeepSeek V4 Pro/Flash、Hunyuan 3、Kimi K2.6、GLM 5.2、Codex 5.6 Luna high 等模型。
- Project APE 的长期目标，是把政策评估做成一个能自主学习、便宜且可靠地规模化验证的系统。
所属事件:Project APE 推出 CRED 基准测试大模型查错能力(2 条相关)→
「研究」频道最新
- OpenAI 发布 reward-seeking 研究与测量方法 — OpenAI · 2026-07-22
- Reddit 转发 OpenAI 的 ChatGPT 广告页面 — EcstaticAsparagus509 · 2026-07-22
- 开源 runtime 让每个仓库自定义 AI 代码审查器 — ibabufrik · 2026-07-22
- OpenAI 与 Apollo 推出 Contrastive SDF 量化奖赏投机 — OpenAI · 2026-07-22
- NVIDIA：先调好 Harness，再去调模型 — NVIDIAAI · 2026-07-22
- AI 发展的瓶颈：从互联网数据红利到高质量反馈闭环 — dyamins · 2026-07-22