剑桥团队用信息增益奖励训练 LLM,让模型学会主动提问收集信息
_akhaliq · x · 2026-10-30
剑桥大学 Kriz、Berthon、van der Schaar 等人的论文《Amortizing Sequential Experimental Design in Reasoning LMs》研究如何让 LLM 学会在多轮交互中主动收集缺失信息——这正是 LLM 长期薄弱的环节。
- 方法：将序列贝叶斯实验设计(BED)摊销进 LLM,用信息增益(information-gain)奖励显式训练指导动作选择的推理链;实验的生成模型与 LLM 自身信念解耦，可按需选择优化目标。
- 结果：在 Twenty Questions 任务上，所得策略在信息获取和任务表现上超过推理时与训练时的 BED 基线，且计算成本显著更低，并可泛化到未见类别。
- 迁移：从 Twenty Questions 训练可正向迁移到真实临床对话基准 Medi-Q,表明信息收集可作为可泛化的推理技能被学得。
所属事件:剑桥用信息增益奖励训练 LLM，学会主动提问做实验设计(2 条相关)→
「研究」频道最新
- WSDM 2027 将办首届 LongSeek 研讨会，聚焦长时程信息检索 — mrdrozdov · 2026-10-30
- 开发者用 Lean 4 形式化非对称度规张量论文，174 次提交开源 — SubtleGradient · 2026-10-30
- AI 谄媚或推高论文产量？研究者质疑发表激增成色 — KLdivergence · 2026-10-30
- Tahoe AI 推出 Tara 插件:让 Claude Code、Codex 直接调用亿级细胞药物数据集 — anshulkundaje · 2026-10-30
- 10 万小时真实对话数据集 Joy 发布：教语音模型学会人类何时插话 — Scobleizer · 2026-10-30
- Berkeley 研究者发布 Exo 架构:Agent 运行时安全自改进,成本降 31-62% — arena · 2026-10-30