RSIBench-Data 测试 agent 能否像研究员一样改进模型
kimmonismus · x · 2026-07-29
这条是在介绍一篇新论文和基准：RSIBench-Data，它专门测 LLM agent 能不能像研究员一样做“数据驱动的模型改进”。
论文的核心思路是把研究流程和优化/系统实现解耦，让 agent 重点接受这样一些任务：
- 诊断模型失败点；
- 设计和修改训练数据策略；
- 根据 checkpoint 反馈继续迭代；
- 在固定目标模型上尝试提升效果。
作者对 4 个前沿 agent、6 个 benchmark 做了评测，覆盖软件工程、终端使用、科学问答和数学等任务。结论是：agent 已经表现出一定的数据中心研究能力，但离“可靠的递归自我改进”还有很长距离。
项目是开源的，作者也欢迎实验室把自己的模型拿来测试。
所属事件:RSIBench-Data基准：AI智能体可优化训练数据但难及时停手(5 条相关)→
「公司和人」频道最新
- Fireworks 联合微软 NVIDIA 办 SF 黑客松，冠军奖金 1 万美元 — sophiamyang · 2026-10-17
- 软件工程一词奠基人 Margaret Hamilton 去世，享年 90 岁 — Dr_Atoosa · 2026-10-17
- 反驳 Andreessen「欧洲自弃 AI」论：六大品类头部是欧洲公司 — IsForAt · 2026-10-17
- Datology Labs 开放数据研究 Fellowship：带薪半年，11月15日截止 — josh_wills · 2026-10-17
- MKBHD 称 Apple HomeView 广告最怪，分析师反驳：家庭刻画最真实 — BenBajarin · 2026-10-17
- 东京 MERGE 2026 大会探讨 AI 驱动开发，300 余人参与 — DavidBennett__ · 2026-10-17