Salesforce 提出 Prospective Hindsight:用预测-现实差值自校准 RL 智能体
Salesforce · hf · 2026-10-14
Salesforce AI Research 发布论文 Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction–Reality Gaps。
- 问题:长程智能体的 RL 训练信号纯粹是回顾式的——只有看到环境后果后才分配 credit,模型在动作时的信念对梯度不可见。
- 方法:PH 用「行动前预测 vs 反馈后评估」的差值(每个 rollout 的 surprise)识别自模型最不准的样本,通过 stop-gradient 的 surprise 加权 advantage 放大其梯度贡献;预测器与策略共享参数,二者共同进化,逐步聚焦剩余盲区。
- 理论:该原则可关联到特权信息差,证明最小化 surprise 残差等价于在校准误差率上做梯度下降——校准成为优化的副产品而非额外目标。
- 实验:在单轮可验证任务与多轮个人助理任务上(基于 GRPO、on-policy distillation 及其组合),PH 同时提升任务表现与校准度,且跨模型规模一致。有趣发现:单轮失败的失准模式是过度自信,多轮成功则是自信不足,同一训练原则均能改善。
「研究」频道最新
- Anthropic 用 Claude 证明 100+ 开源库汇编级安全属性，还揪出潜伏多年 bug — chrisrohlf · 2026-10-23
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23