Berkeley 团队揭示 LLM 递归自摘要信息丢失,用重构奖励的 RL 修复
berkeley_ai · x · 2026-11-05
Berkeley 团队(alidayan 等)在 TMLR 发表论文,研究 LLM 在长程信息收集任务中递归自我总结时出现的问题:每轮摘要造成信息逐步损失,导致下游决策质量下降。
- 核心问题:没有专家演示数据时,如何修复这种递归摘要失效?作者指出仅靠基于结果奖励的 RL 是不够的。
- 提出的方法是按「能否从轨迹中重构出信息」来给 belief 状态打分:用 LLM 根据 belief/action/observation 预测下一步 belief,再由另一个 LLM 尝试从轨迹中重构信息,以此作为奖励信号(见配图流程)。
- 论文已发表于 TMLR。
「研究」频道最新
- Cartridges 团队提出「Self-Study 是移动目标」:无标签度量优化 KV 缓存压缩 — simran_s_arora · 2026-11-05
- 百度开源 ERNIE 5.5 Flash:280B 总参仅激活 14B,支持 1M 上下文 — teortaxesTex · 2026-11-05
- USC 推出 WACL:端执行器被占用时,机械臂学会用整条手臂干活 — ebiyik_ · 2026-11-05
- nanoGRPO：8GB RTX 4060 即可训练，轻量复现 GRPO 推理强化 — joey00072fp8 · 2026-11-05
- 数学家之子与 AI 协作首次证明 E.P. Stein 数渐近公式 — arampell · 2026-11-05
- GPT-6 改权重争议软证据:仅靠三四道玩具题撑结论 — maier_ak · 2026-11-05