FrontierRSI 基准实测:顶级模型提升 AI 的得分仅约 34%
Madisonkanna · x · 2026-11-21
前 Waymo 工程师 @quasicoh 和 Jesse Hu 创办的 Abundant Labs 发布了 FrontierRSI 基准,测试 AI 能否承担前沿实验室的真实研究工作。
要点:
- Abundant 的 Kevin Lin 称 Claude Opus 5.5 是目前「提升 AI」能力最强的模型,但意外的是 Gemini 4 Carbon 在 GPU kernel 优化任务上胜出
- 即便是表现最好的模型,得分也仅约 34%,因此他认为 RSI(递归自我改进)「才刚刚开始」
- 该基准不提供提示、直接要求模型改进模型,作者认为其他 RSI 基准测的是玩具问题
- 播客还讨论了真正的 RSI 定义、小模型上的研究为何也算数、对齐与 RSI 的关系、以及 Hugging Face 事件与奖励投机(reward hacking)的捕获等话题
「编程与Agent」频道最新
- 实测:改一句 MCP 工具描述,正确工具选择率从 19/55 升至 45/55 — sparkignitefire · 2026-11-21
- 创业者批 McKinsey:企业需要的不是 AI 第二大脑而是第一大脑 — vasuman · 2026-11-21
- 开发者吐槽:模型照单全收冗余复杂度,工具与 MCP 太重难落地 — dscape · 2026-11-21
- Inkling 2 Mini 模型页详解:MLX 量化版与一条命令接入编码 Agent — ollama · 2026-11-21
- 对抗 AI slop 的新武器:形式化验证创业公司正在崛起 — Latent Space · 2026-11-21
- 实测:无引导编码 Agent 仅通过 52% Web 检查,装上技能达 91% — rseroter · 2026-11-21