Reinforcing Agentic Creativity in Scientific Ideation with Night Science
Priyanka Kargupta, Silviu Cucerzan, Shweti Mahajan, Allen Herring, Jiawei Han, Ryen W. White, Sujay Kumar Jauhar
cs.AI, cs.CL
2026-09-29
微软与 UIUC 用 GRPO 在动作、过程、结果三个层级训练科学创意,提案原创性胜率最高提升 66 个百分点,调温度复现不了。
LLM 在代码、数学这类有验证信号的任务上进步最快。开放式的科研选题是反例:模型有低熵偏好,爱输出训练数据里的高频模式,生成的 idea 同质、可预测,抄袭率也不低。现有科研 agent 把发现建模成规整的流水线:检索、假设、验证、修正,这对应「日科学」。另一半「夜科学」,漫无结构的联想、跨领域偶遇、推翻默认假设的直觉,基本缺席:search、debate、write 被当成固定动作,创意只被当作最终产物的属性,没人控制单个动作该做得多有创意、什么时候该偏离常规。
这篇的立场:创造性不是采样随机性,可以分层表示、用 RL 学出来。
AI Night-Scientist 是 ReAct 风格的 agent,每步选一个动作加一个创造力等级,执行后写入上下文,轨迹最多 5 步。创造力分三层:
训练用 GRPO(verl 实现),基座 Qwen3-8B/14B-Base。奖励只打在最终提案:拆成原子 idea,按 precedence(离已有工作多远)、feasibility(执行计划可信度,跨阶段取最小值)、relevance(是否对题)等权平均,GPT-4.1 当裁判并检索文献兜底。另有两个可选项:训练早期以衰减概率随机替换所选动作,模拟偶然偶遇;给中间动作打「探索性 + 贡献」分的过程奖励。
关键设计是把创造力等级写成自然语言而非数值旋钮。温度只往分布里掺噪声,「搜远缘领域」是在语义上指定偏离的方向,RL 才学得到哪类偏离有用。
数据是 NSF 2018 年后的 CSE 奖项,4,414 训练 + 491 测试,模型只看奖项目标题。评估三件事:SciJudge-30B(引用影响预测模型)对 GPT-5.1 重建参考提案的胜率、GPT-5.1 结合最近检索文献判原创性、按研究范式与贡献类型统计覆盖面。
| 方法 | 引用影响胜率 | 原创性胜率 |
| Qwen3-8B 零样本 | 0.46% | 2.53% |
| GPT-4.1 + 创造力提示 | 3.00% | 14.02% |
| Qwen3-8B + 温度映射 + RL | 11.52% | 19.82% |
| Qwen3-8B + ReAct + RL | 24.94% | 46.60% |
| Night-Scientist-8B | 29.89% | 56.32% |
| Night-Scientist-14B | 33.18% | 68.68% |
14B 版相对零样本 Qwen3-14B 提升 32.03 与 66.15 个百分点;零样本从 8B 堆到 14B 几乎不动,配上这套 RL 才用得起容量。温度映射版吃同样的奖励,原创性被甩开 36.5 分;ReAct+RL 追上一大截,语义等级再贡献 9.72 分。砍掉 debate 和 spark 只留检索加写作,原创性掉 22.99 分,收益不是检索增强能解释的。直接对打里,Night-8B 对 GPT-4.1 引用胜率 74.95%、原创性 86.96%。研究范式覆盖从 0.738 升到 0.943,七类里多出约 1.4 个有效类别,贡献类型从 0.370 到 0.425,36 个评估领域全部正增益。过程奖励是反向取舍:原创性再涨 5.29 分,引用掉 3.69 分,覆盖面收窄,主设定因此只用结果奖励。
「LLM 缺原创性」在这篇里从感叹号变成可训练的问题,消融链条干净:温度、多步策略、检索、语义创造力等级各自贡献多少,拆得清楚。「用自然语言描述行为偏离的方向与程度,让 RL 学会何时用」不挑任务,任何要平衡探索与利用的长程 agent 都能套。代码开在 microsoft/ainightscientist。也要如实说:这是 8B/14B 基座、5 步轨迹、491 个测试奖项上的结果,属于机制贡献,离替人做选题很远。