递归自我改进基准与 KradleBench:AI 评测正在告别静态测试
typewriters · x · 2026-11-21
作者本周 reviewed 的两个 AI benchmark 方向:
- 递归自我改进基准(quasicoh 团队):检验 AI agent 能否完成改进自身所需的研发工作,覆盖预训练、后训练、推理、harness、GPU kernel 共 27 个开放任务。
- KradleBench:面向前沿模型与人类的动态多智能体基准,考察模型在其他智能体各自追求目标、环境持续变化的真实条件下如何行动。
核心论点:静态评测——模型独自解题、拿一个分数——已不够用。它假设世界是静态的、无人干扰,而现实是混乱、嘈杂、充满对抗实体的。评测正在从「单人闭卷考试」转向「动态多人博弈」。
「模型」频道最新
- OpenAI Agents API 开放 Daybreak 网络安全接入,暴露 gpt-6-sol 等未发布模型名 — nikunjhanda · 2026-11-21
- 开发者看好 looping 模型:让手机上的开源小模型媲美 Opus — scaling01 · 2026-11-21
- KOL 晒 Google AI Ultra 订阅页:Gemini 额度可达 Pro 五倍 — kimmonismus · 2026-11-21
- Claude「证明黎曼猜想」遭群嘲:25万页Lean代码无人审,Anthropic数学家自认 slop — GaryMarcus · 2026-11-21
- 首测 Gemini Neon 生成数据集查看器,效果胜过 Opus 5.5 — zacharynado · 2026-11-21
- 前沿模型可在上下文中解码 KV 缓存侧信道,安全研究员动摇 — davidad · 2026-11-21