Flex-RSI 论文拆解自改进 Agent:可改 Harness、权重固定、隐藏测试把关
krishnan · x · 2026-11-11
Krish Subramanian 用 8 条推文解读 11 月 6 日预印本 Flex-RSI:评估 24 个视觉/机器人任务、18 个模型，均在固定预算下运行。
- 两个角色共享一个模型：executor 负责改进任务解法；improver 重写 executor 的 prompt、工具与工作流，并更新自身经验——改进流程本身可自我编辑
- 固定不动的部分同样关键：被评估模型权重不变、评估器/数据划分/预算核算锁定，agent 无法触碰评分环节
- 留出门槛：新解法须在留出验证集上以超过噪声幅度胜出才算通过；最终分数来自只用一次的隐藏测试集
- 编辑 harness 是否有用？7 组配对实验中 6 组测试分提升(240 分)、1 组持平；但证据薄弱，同一任务重复跑 Opus 得 40 而非 80
- 商业机会：不等新模型、让服务在重复性工作上自我变强的循环。瓶颈在改进环：pass/fail 反馈让开源模型几乎不涨分，带评分的反馈让所有模型都受益
- 可复制的试点设计：固定 vs 可编辑 harness、同预算、冻结后跑隐藏新任务、按美元计accepted结果、重跑旧任务查回归
「编程与Agent」频道最新
- 梗图：任务只需 5 行代码时你的 subagent 都在干些什么 — neal_lathia · 2026-11-11
- Visa 实测 22 个 AI 模型 15 项购物任务,失败率约 43% — Thick_Mulberry_2235 · 2026-11-11
- Sentry 推出 MCP 与 CLI 统一方案：不是二选一，而是都要 — zeeg · 2026-11-11
- 斯坦福开设 CS329Z 智能体工程课，Diyi Yang 主讲覆盖主动式 Agent — stanfordnlp · 2026-11-11
- 独立开发者自省:共享额度耗尽,整站 AI agent 集体停摆 8 小时 — wolfdogKC · 2026-11-11
- 斯坦福 CS329Z 作业公开：用 Harbor 框架造 terminal-bench 式 agent 评测任务 — Diyi_Yang · 2026-11-11