Spotify 用 LLM 解释做 RL 信用分配，延迟奖励场景大幅超越 PPO

_reachsumit · x · 2026-10-12

Spotify 的 Corcoll 等人提出 Explanatory World Models（EWM）：用前沿 LLM 生成的解释来识别哪些早期事件真正导致了回报，再通过保守的分层算子递归重分配奖励（保持未折扣回报不变），替代传统按时间邻近度传播的方式。

论文基于 Halpern 实际因果、Lombrozo 解释简洁性、Deutsch 难以变造解释提出三种解释变体。实验上：在 Crafter 和 WordCraft 上大幅超越 PPO 与 LaRe，奖励越延迟优势越大；在 KuaiRand 序列推荐基准上离线超越 SFT/LaRe、在线超越 A2C，并在工业级生成式推荐器上完成离线评估。