AI4AI-Bench 登场：测试 Agent 能否设计更好的 AI 算法
机器之心 · wechat · 2026-08-22
- AI4AI-Bench 由 EinsiaAI 旗下 NaversLab 发布，测试 LLM Agent 能否真正进入算法设计层（而非只调参），在 X 发布 7 小时获 110 万浏览。
- 选取 10 个真实 AI 研究仓库（8 个训练类，2 个为权重平均与 One-shot 剪枝），流程分两阶段：4 小时自由探索（仅留源码）+ 最长 12 小时独立重跑，用冻结 evaluator 打分，baseline 即原仓库代码。
- 共测 29 个「模型+框架+reasoning effort」配置、290 组实验。Claude Opus 5 整体最强；263 份有效提交中仅 122 份真正触及「模型怎么学」（改 loss、监督信号、update rule 等），这类提交平均分 0.226，远高于只改训练运行的 0.126。
- 提高 reasoning effort 是关键变量：触及算法层的提交比例从 8% 升至 64%，中位实验次数从 4 次增到 16 次，平均分从 0.094 升至 0.196——但仍仅走完 baseline 到理论最优约十分之一的路。
- 三个亮眼案例：把剪枝改造成三阶段蒸馏训练（perplexity 53.4→13 出头）、给权重平均自造 500 倍加速实验工具再学习混合系数、Agentic RL 先用求解器做 imitation learning。共同点是先造验证判断的工具，再改算法。
所属事件:AI4AI-Bench基准测试：AI自我改进能力仍薄弱(3 条相关)→
「编程与Agent」频道最新
- 数据说话：路由和安全分类用决策模型，中位速度快 7-8 倍 — randal_olson · 2026-10-16
- Perplexity 开源安全沙箱 SPACE，联手 CoreWeave 推 agent 推理平台 — AravSrinivas · 2026-10-16
- 决策模型 vs LLM：知识推理 LLM 胜，路由审核平手且前者更快 — randal_olson · 2026-10-16
- Temporal Serverless Workers 登陆 Cloud Run:按任务队列自动伸缩、可缩至零 — rseroter · 2026-10-16
- Meta 超智能实验室 200+ 直接汇报,扁平组织移植到 AI Agent 设计 — peterjliu · 2026-10-16
- LangChain CEO:最有趣的 agent harness 工作在 harness 与基建交界处 — hwchase17 · 2026-10-16