审查 6 个 RSI 基准:5 个存在缺陷,31-63% 任务出错
teortaxesTex · x · 2026-11-11
OpenBenchReview 发布了对当前 RSI(递归自我改进)相关基准的审查报告,被 teortaxesTex 转发并称「值得审视」。
核心发现:
- 共审查 6 个基准,其中 5 个存在有缺陷的任务
- 在 FrontierCS 2 上,基准作者自己提交的代码经常无法通过他们自己设计的测试,其中一个任务约 6 次中有 5 次失败
- 各基准中 31-63% 的任务存在错误
作者在推文串中附上了详细证据。该审查质疑了当前用于评估模型自我改进/编程能力的基准本身的可靠性。
所属事件:OpenBenchReview 审计 6 个 RSI 基准仅 1 个通过(3 条相关)→
「研究」频道最新
- NeurIPS 2026 Oral:数值视觉思维链让定位 IoU 提升 12.2 点 — jiqizhixin · 2026-11-11
- NovaAtom-Lite 抗体-抗原结构预测超 AlphaFold 3,顾全全谈药物发现提速 — xennygrimmato_ · 2026-11-11
- IFM 发布开源世界模型 PAN 2:预测动作后的世界状态 — HeyAmit_ · 2026-11-11
- Eric Xing 详解 PAN 2:GLP 架构与物理智能六维能力 — HeyAmit_ · 2026-11-11
- CoRL 论文 Maestro：用廉价旧模型 Gemini 2.5 零样本操控真机器人 — dineshjayaraman · 2026-11-11
- 开源药物发现引擎 OpenDDE 发布，抗体-抗原共折叠逼近商业最优 — teortaxesTex · 2026-11-11