ScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents
Shuhan Xue, Jianyuan Zhong, Ziyuan Nan, Wenbin Li, Zhaochen Yu, Jinchao Ding, Qiang Gao, Pengyu Zhan, Yuntong Zhang, Tian Cheng, Zhenfei Yin, Yingcheng Wu, Ling Yang
science-buddy
cs.AI, cs.CL
2026-09-16
ScienceBuddy 把研究者对话打成 Harbor 任务和评分表，内环固定模型改 harness、外环用 GRPO 训模型。Qwen3.5-4B 跑三轮后，四类生物医学任务单次准确率从 42.2% 升到 73.3%。
科研 agent 已经能查文献、跑数据库、写分析脚本，但研究者在对话里纠正一次答案，并不会让系统在下一道题上变得更强。Reflexion、GEPA、ACE 会改 prompt 和技能手册；SIA、HELIX 开始同时动 harness 和权重。缺的是一条可落地的闭环：把日常协作收成可执行任务和评分表，再让「怎么干活」和「模型本身」互相提供训练信号。
ScienceBuddy 是 PhAI Labs 放出的交互式科研工作台。工具目录来自 Biomni，224 个工具、22 个功能模块，覆盖基因组、分子与肿瘤生物学、药理、生物影像、文献和数据库。对应作者在牛津、斯坦福、普林斯顿。产品把研究者请进工作流，同时把请求、反馈和执行痕迹变成持续学习的原料。
核心机制叫 recursive-in-recursive self-improvement，两层嵌套。
内环固定任务模型。另一个固定的辅助模型 GPT-6 Astra 阅读失败轨迹，每次只改一条指令、一项 scoped skill 或一个上下文设置。候选必须通过编辑约束，并且在配对开发集上的平均 rubric 分数真的升高才被接受，平局保留父版本。工具、执行环境和评分器全程不动。
外环把选中的 harness 冻住，按当前能力校准并增广任务环境，再用任务专属 rubric 当奖励，对新鲜 on-policy 轨迹做 GRPO。历史对话只用来定义任务和诊断，不直接当训练样本。研究者回复也不自动当成正确答案。
两边互相供给。harness 改了，训练轨迹和难度跟着变；模型变了，同一套流程的有效性也变。第二轮内环开始时验证准确率从上一轮的 44.4% 掉到 34.4%，说明模型一更新，旧手册就不再匹配。线上继续用当前（模型, harness）接请求，后台更新完再一起上线。任务被打成 Harbor 包：instruction、环境资产，以及 tests 里的 rubric 检查。
起点是 Qwen3.5-4B 加一份初始科研 harness。评测池来自 LAB-Bench 和 Biomni-Eval1，共 895 题：文献阅读 LitQA2 96 题、数据库判断 DbQA 511 题、实验方案排错 ProtocolQA 108 题、基因与变异 GWAS 180 题。
三轮协同进化，每轮内环搜 10 步、外环 GRPO 20 次。单次测试准确率从 42.2% 升到 73.3%。33.3% 的题从错变对，2.2% 从对变错。图上分家族大约是：DbQA 36%→74%，GWAS 30%→60%，LitQA2 80%→87.5%，ProtocolQA 60%→70%。各轮 harness 验证准确率分别是 38.9%→44.4%、34.4%→46.7%、61.1%→70.0%；对应 RL 阶段前后半段的平均训练奖励是 33.3%→38.8%、44.1%→60.5%、57.8%→69.8%。
单独拆开两个机制也成立。固定模型只改 harness：验证集首次作答准确率 31.1%→51.1%，加 20 个百分点；选中的 harness 有 4 条指令和 9 项 scoped skill。固定初始 harness 只做约两小时 RL：pass@4 覆盖率 48.3%→67.8%，加 19.5 个百分点。
对要做科学 agent 的人，这篇把「改手册」和「训模型」写成可交替的工程循环，并且工作台、任务格式、评分表都开源。4B 小模型在工具齐全的生物医学问答上能涨 31 个百分点，说明流程和技能文本本身就值很多分。
这是一篇系统与产品论文，不是新的优化算法。内环编辑器仍是固定的 GPT-6 Astra，题目仍是有标准答案的实验室问答，离开放式发现还远。
论文写明：reflector 保持固定，任务表现变好并不等于改进机制本身变强。harness 案例里的用户反馈来自 Qwen3.8-27B 模拟器，288 段适应对话，回复集合刻意不含正确答案。真实研究者交互只有 JAK1 实验设计和 ARL4C 汇报两例，图 7 的任务规格被标成示意推导，不是归档的 rubric 包。
单项技能和单条反馈的贡献没有拆开。评测几乎全是生物医学选择题和检索题；工作台虽声称多领域，工具和数据仍偏生物医学。三轮 42%→73% 的对照是同一套 4B 起点，没有把「同等算力只做 GRPO、不改 harness」的完整耦合消融放进同一张主文图。