OpenRSI Index 发布:首个衡量研究智能体递归自我改进能力的基准
jiqizhixin · x · 2026-10-18
现有基准正被大模型刷爆,但榜单高分不等于模型能真正推动研究前进——完成一次任务与持续推动一个领域是两回事。当研究走向递归自我改进(RSI)时,一个关键难题是:当一个模型试图改进另一个模型甚至自身时,谁来定义什么才算真实有效的环境反馈?OpenRSI Index 正是针对这一空白提出的基准,用于衡量研究智能体能否在明确的实验边界内改进人类设计的模型训练管线、并发现更好的方法。评测框架分两层:内层研究循环由智能体提出并运行实验,外层评估循环判断提议的改动是否真正改进目标方法。配图展示其覆盖预训练(Marin-Scaling-Ladder,单次 18,432 H100 小时)、后训练(Qwen-122B-RL-Merge,单次 20,864 H100 小时)、视觉生成(GPIC Leaderboard,单次 5,815 H100 小时)等基础模型研发任务,单次实验即需数千到两万 H100 小时,也覆盖垂直领域任务。
「模型」频道最新
- 博主晒对比:DeepSeek V4.1-Flash-1017 三项 Agent 编码基准超 Opus 5 — eyishazyer · 2026-10-18
- NVIDIA 研究员回应线性注意力之争:8B 混合架构早于 MiniMax-01 七个月 — ctnzr · 2026-10-18
- GPT-6 Astra 与 DeepSeek V4.1 推理同款翻车:满屏 Need 被做成梗图 — scaling01 · 2026-10-18
- 曝光:GPT-6.1 Sol/Astra 防御性使用被锁进无法申请的 Daybreak Red 计划 — andersonbcdefg · 2026-10-18
- 内幕解释:DeepSeek 爱用日期版本号是因中国监管审批 — TheZachMueller · 2026-10-18
- Fable 5 痴迷「封存预测」,还会偷偷猜其他分支的自己 — repligate · 2026-10-18