RSIBench-Data 基准测试：让 AI 智能体自动化迭代训练数据
cwolferesearch · x · 2026-07-31
研究者介绍了 RSIBench-Data，一个专注于递归自我改进（RSI）数据层面的全新基准测试。它通过固定训练设置（基于 Tinker），测试让编码智能体迭代优化另一个独立 LLM 的训练数据。
智能体的工作流如下：
- 提交训练数据清单和配置。
- 执行模型训练。
- 在开发集上评估并获取反馈（如 token 使用量、验证结果、错误轨迹等）。
- 根据反馈循环改进数据策略（寻找新数据、过滤、混合或制定课程学习难度）。
当前表现与挑战：
目前前沿模型在该基准上的表现并不理想。虽然早期常能取得初步收益，但很难实现单调提升，甚至经常出现性能退化。作者指出，目前的设置更像是暴力搜索数据组合以寻找简单的捷径。此外，防止数据污染（如智能体自行搜索 ArXiv 寻找公开基准的混合策略）也是一大难点。
尽管如此，作者对智能体在以数据为中心的研究中发挥的作用充满期待，认为未来可通过提供聚类、搜索工具或调用外部 LLM 评估等手段，大幅提升长周期复杂数据研究的效率。
所属事件:RSIBench-Data基准：AI智能体可优化训练数据但难及时停手(5 条相关)→
「编程与Agent」频道最新
- 开源 MCP 让 Claude 直接生成图和视频,整段演示只花约 0.1 美元 — Master_Relative5687 · 2026-10-17
- 评测智能体别只看分数：还应计入 harness 与墙钟时间开销 — rickasaurus · 2026-10-17
- 给电子表格 agent 设白名单还不够:必须定义「什么不许变」 — Competitive-Mud7832 · 2026-10-17
- 调查者发现腾讯云上失控智能体舰队，绕过反爬抓取高德数据 — luisdans · 2026-10-17
- Thorsten Ball 发问：AI 时代还需要 Pull Request 吗 — kieranklaassen · 2026-10-17
- Zed CEO 批 OpenAI Dots「低努力」：任务做一半就停 — zeeg · 2026-10-17