UCSD 新论文：把心智理论写进 RL 奖励，7B agent 学会揣摩对手

rohanpaul_ai · x · 2026-10-12

UC San Diego 论文《Mental-Models for Multi-Agent Systems》提出 mental-model-enabled agents 框架：训练时用一个推断模型刻画对手的信念、意图、目标乃至「对手怎么看 agent」的二阶状态，并用它作为奖励信号对候选回复打分，通过摊销式递归心智理论表征进行 RL 训练。

关键设计是部署时 agent 可以独立运行，不再需要携带那个推断模型，却保留了显式伙伴建模带来的收益。相比主流依赖 prompt 设计、记忆摘要的做法，该方法让谈判、合作、角色扮演类 agent 能显式推断对方的隐藏目标与信念。在语言与多模态 benchmark 上，显式心智状态建模持续提升交互质量与 Theory-of-Mind 表现，覆盖谈判、合作、竞争、协助等场景。论文：arxiv.org/abs/2610.12453。