RLAD 论文:双玩家 RL 训练模型自主发现推理抽象提升泛化
burny_tech · x · 2026-11-17
arXiv 论文《RLAD: Training LLMs to Discover Abstractions for Solving Reasoning Problems》(Yuxiao Qu、Chelsea Finn、Aviral Kumar 等)提出推理抽象(reasoning abstractions)概念:用简洁自然语言描述程序性与事实性知识,引导模型学会成功推理。
要点:
- 现有 RL 后训练的长思维链常陷入冗长、退化的探索,难以捕获和复用可复用的解题程序
- RLAD 采用双人 RL 范式:联合训练一个抽象生成器和一个解答生成器,前者针对问题提出多个抽象,后者在抽象条件下构建解答
- 该设定实现结构化探索、解耦抽象提议与解答生成的学习信号,并提升对更难问题的泛化
- 关键发现:在大测试预算下,把更多测试时算力用于生成抽象,比生成更多解答更能提升性能
所属事件:RLAD 论文:双玩家 RL 让模型自主发现推理抽象(2 条相关)→
「研究」频道最新
- alphaXiv 上线博客功能,呼吁研究者绕过评审直接发研究笔记 — CatAstro_Piyush · 2026-11-17
- Bengio 团队旧文重提:尖锐极小值也能泛化,平坦性假说站不住 — burny_tech · 2026-11-17
- LLM 入门圣经《LLMs 101》2026 版免费在线,从 Transformer 讲到本地部署 — CatAstro_Piyush · 2026-11-17
- NUS Computing 首届 Ascent Fellows 出炉,九位青年研究者入选 — rishabh16_ · 2026-11-17
- 谷歌 DynamicWebPaige 构建 100 题赤平投影评测,考 AI 地质推理 — DynamicWebPaige · 2026-11-17
- NVIDIA 开源 USDCraft 机器人数据集,含 3D 与图像多模态 — nvidia · 2026-11-17