剑桥团队用信息增益奖励训练推理 LLM，大幅降低序贯实验设计成本
CambUni · hf · 2026-10-29
剑桥大学论文《Amortizing Sequential Experimental Design in Reasoning LMs》：LLM 虽有强大预训练知识与推理能力，但在实验设计任务中难以自适应地收集信息。团队将序贯贝叶斯实验设计（BED）摊销进 LLM：用信息增益奖励显式训练指导动作选择的推理过程，并把实验生成模型与 LLM 自身信念解耦，从而可在任意选定模型下优化期望信息增益。
- 系统研究了摊销的设计选择：生成模型构造、奖励估计、假设空间设定、多步目标与训练/推理计算成本权衡。
- 在二十问（Twenty Questions）等任务上，所得策略胜过推理时和训练时 BED 基线，计算成本大幅更低，并能泛化到未见类别。
- 展示了从二十问到真实医学诊断（Medi-Q）的正迁移。
所属事件:剑桥用信息增益奖励训练 LLM，学会主动提问做实验设计(2 条相关)→
「研究」频道最新
- 基因组基础模型 NTv3 发布：15 物种功能预测与调控序列设计 — anshulkundaje · 2026-10-30
- 「人格神经元」在哪激发？chat 模板 token 承载 25%–95% 激活 — maxsloef · 2026-10-30
- 人格神经元研究新数据：除 Hoot 外各人格消融后普遍表现更差 — maxsloef · 2026-10-30
- MIT 论文：收件箱机制解决万级 LLM 智能体协调难题 — omarsar0 · 2026-10-30
- Amazon FAR 发布 DreamFAR：纯机器人数据从零训练世界模型 — _krishna_murthy · 2026-10-30
- 强化学习期刊 RLJ 开放滚动投稿，按期录用即可登上 RLC 大会 — MarlosCMachado · 2026-10-30