Incentivizing Self-Learning in Large Language Models via Reinforcement Learning
Lingkai Kong, Yuzhe Gu, Haiteng Zhao, Zijian Wu, Youqing Fang, Zhouqi Hua, Yanan Sun, Kai Chen, Wenwei Zhang
cs.CL
2026-10-29
GRPO 叠加探索奖金与轮次信用后,35B 证明正确率从 51.5% 升至 79.5%,高出固定检索 6.4 点。
检索增强生成(RAG,先把外部文档搜回来再作答)管的是材料在不在手里。陌生题多出来的是另一件事:推导做到一半,才发现缺一条前置定理,刚读到的定义又会改掉后面的路线。检索强化学习通常交错搜索和答题,上下文学习假定材料已经在 prompt 里,meta-RL 靠的是多次尝试之后的环境反馈。对着一本静态长文自己选节,再把读到的原理写进证明,这条链路没有被单独训过。
任务是教材证明。本科和研究生数学书被解析成按章索引的正文,习题和解答抽走,模型只看见定义、定理、讲解和一般性证明,散落各节的概念要自己接上。点了章节号的习题被去掉。158 本书抽出 5183 道题,平均每本 56 节、约 20.8 万 token。参考解答对策略不可见,只交给判分模型。
翻书只经过 BookNavigator,动作三个。gettoc 返回全书目录。searchindex 用关键词检索,按词覆盖、词距、原短语和标题打分,交回章节号和片段。readsection 按章节号返回这一节全文。每一轮先写推理,再执行一个动作,观察进入历史,下一轮可以转向。上限 8 轮,整条轨迹 64k token。最后一轮不再翻书,提交一份自洽证明。
基座是 Intern-S2-Preview-35B,GRPO 训练 50 个 rollout step。GRPO 即组内相对策略优化,把同一次采样的多条轨迹放在一起,按相对优势更新。训练题 4557 道,来自 132 本书。判分模型是 GLM-5.2,采用 8-shot pessimistic verification:同一份证明独立审 8 次,8 次全部通过才给 +1,否则 -1。
只看对错,模型变强后会少翻书。自学训练因此多加两项,对照 RL 不加。
评测分三档。ID-Book 是训练用过的 4 本书里留出的 205 题。OOD-Book 是科目见过、书没见过的 7 本书、155 题。OOD-Subject 是整科留出的概率与统计,19 本书、266 题。每题采 4 条解答取平均正确率。
生成时对照都不能再调工具,输出最长同样是 64k。No-Book 只给题目。Top-k 按相关度最多拼 8 节。Long-Context 按原书顺序填满预算。Oracle 只附出处那一节。
| 协议 | 训练前 | RL 后 | 提升 |
| No-Book | 55.7% | 68.5% | +12.9 |
| Top-k Sections | 62.2% | 73.1% | +10.9 |
| Long-Context | 56.7% | 72.2% | +15.5 |
| Oracle Section | 60.9% | 71.0% | +10.0 |
| Self-Learning | 51.5% | 79.5% | +28.0 |
训练前,自学整体 51.5%,低于不给书的 55.7%,也低于全部固定检索。RL 之后到 79.5%,比最强的 Top-k(73.1%)高 6.4 个点,比 RL 之后的 No-Book 高 11.0 个点。OOD-Book 上自学 85.2%,Top-k 为 81.0%;OOD-Subject 上 86.7% 对 81.3%。ID-Book 从 33.9% 升到 65.5%,涨幅 31.5 个点,各协议里最大。
同一套权重拿掉书和工具,正确率仍从 55.7% 升到 71.7%,裸推理涨了 16.0 个点。配上原书是 79.5%,再高 7.8 个点。同科目的另一本书是 75.2%。删掉出处节以及前后各 4 节,一共 9 节,降到 74.6%。随机删掉 9 节出处邻域之外的内容,则是 79.8%,和完整教材的 79.5% 接近。
离开证明题后,评测改回各基准原来的设置,不再使用 BookNavigator。BrowseComp-Plus 用 BM25 关键词检索,CL-bench 直接读给定上下文。自学 RL 相对基座,BrowseComp-Plus 从 50.2% 到 51.9%(+1.7),CL-bench 从 14.8% 到 17.1%(+2.3)。领域知识推理从 14.5% 到 19.0%(+4.5),规则系统应用从 16.3% 到 17.5%(+1.2)。经验发现与仿真和 No-Book 的 RL 同为 12.6%,基座是 7.5%。程序化任务执行上,所有 RL 都低于基座,自学这一档是 15.9%,基座 16.6%。BrowseComp-Plus 上,其余 RL 协议都低于基座。
消融保持自学协议,只改奖励。
| 设置 | 整体正确率 | 翻书轨迹占比 | 平均调用 |
| 基座 | 51.5% | 36.9% | 1.5 |
| 只奖对错 | 74.9% | 6.7% | 0.3 |
| 加工具信用 | 76.2% | 7.0% | 0.3 |
| 加探索奖励 | 77.0% | 79.9% | 5.9 |
| 两项都加 | 79.5% | 58.4% | 3.0 |
只奖对错已经达到 74.9%,翻书轨迹却从 36.9% 掉到 6.7%。工具信用把 ID-Book 从 60.7% 抬到 64.0%,翻书比例仍只有 7.0%,OOD-Book 还比只奖对错低 0.8 个点。探索奖励单独把翻书轨迹拉到 79.9%,平均每条 5.9 次,OOD-Subject 比只奖对错再高 2.9 个点,整体 77.0% 仍低一截。两项合用后平均 3.0 次调用,三个分档同时最高。
一本平均 20.8 万 token 的教材塞不进一次窗口。策略边证明边选节,答对且翻过书才有衰减奖金,初始模型再把无效调用的功劳挪走。
28 个点不能都算成学会了自学。只奖对错的 GRPO 已经从 51.5% 走到 74.9%,探索奖金加轮次信用再给 4.6 个点,并把翻书轨迹从 6.7% 拉回 58.4%。跨书、跨科目多出来的差距主要在这 4.6 个点里。BrowseComp-Plus 和 CL-bench 各涨 1.7、2.3 个点,评测时不用 BookNavigator。证明题上配方站得住,换成长上下文上的别的任务,迁移还薄。
表上的正确率全来自 LLM 裁判。GLM-5.2 必须八次都判对,偏严,但没有人工复审,也没有形式化证明核验。奖励和指标共用这类判断。工具裁判是训练前的 35B,useful 和 neutral 同分,过程分实际上只在罚 harmful。
留出的科目仍是概率统计。出了数学,涨幅只剩一两个点,程序化执行还低于基座:证明训练奖励的是把推导做出来,程序题奖励的是按约束把步骤走完。只训了 Intern-S2-Preview-35B,共 50 步。检索没有和向量检索对比。ID-Book 只有 4 本书。轨迹停在 64k 和 8 轮,书却平均 20.8 万 token。