ToM2Vec: Continuous Theory-of-Mind Tokens for Multi-Agent Coordination
Nithin Sivakumaran, Ali Payani, Hyunji Lee, Mohit Bansal, Elias Stengel-Eskin
cs.AI, cs.CL, cs.MA
2026-10-22
ToM2Vec 只靠自博弈的余弦损失,让智能体用 10 个连续隐向量对齐队友真实思维。Overcooked 三张地图均分从 94.7 升到 106.7,谈判成交率从 62% 升到 71%,配没见过的 GPT-5.4 队友仍平均高 17.3 分。
多个 LLM 智能体共事,卡点经常出在队友下一步,自己的计划反倒写得出来。心智理论（Theory of Mind, ToM）就是凭可见行为去推断对方没说出口的信念、欲望和即将做出的动作。做饭、谈判和看不见自己手牌的花火,都先要这层推断。
文字会把多种可能收成一种。句子一旦生成,模型就倾向于认定单一的队友状态。图 1 里,不做 ToM 时双方都去取盘子,动作重复,还互相挡路。自然语言版会考虑对方,却把判断钉死成「对方要把盘子递过来」,蓝方走去接。连续向量版留着另一条假设:对方也许自己拿盘子,蓝方改去取洋葱。
ToM2Vec 把对队友的判断收成固定预算的连续向量,K 取 10。这些 token 不进词表。每一步取最后一层 hidden state,直接当作下一步输入嵌入,自回归走完 10 步。这和 Coconut 一类 latent reasoning 相同:隐状态里可以叠着几条尚未说死的思路。
监督只来自自博弈,损失里没有任务奖励。主智能体和队友共用同一套正在训练的权重,起点都是 Qwen3-8B。表示空间必须相同,余弦对齐才成立。队友按私有上下文采样完整思维链,按句子切开,均匀分成 8 段,每段取中间 token 的隐状态,再拼上开头和结尾,得到 10 个目标向量。主智能体看不见私有上下文,只凭自己的观察和历史预测这 10 个向量。损失是逐位置余弦相似度的缺口,L = 1 − (1/10) Σ cos(预测, 目标)。
推理时思维链不再可得。主智能体先吐出 10 个 ToM token,后面的推理和动作都条件在上面。图 2 的多方谈判里,训练对齐的是一方对另一方真实算盘的压缩,上场只留压缩结果。Language ToM 走同一套自博弈,监督换成文字摘要。
基座都是 Qwen3-8B。Overcooked 三张地图各 30 个种子,指标是一局团队均分。
| 方法 | 狭窄房间 | 不对称优势 | 协作环 | 平均 |
| 未训练 | 90.0 | 91.3 | 102.7 | 94.7 |
| 提示词 ToM | 86.7 | 96.0 | 106.7 | 96.4 |
| Language ToM | 92.0 | 98.7 | 102.0 | 97.6 |
| Self-Consistency | 91.3 | 97.3 | 107.3 | 98.7 |
| SimToM | 90.7 | 94.0 | 105.3 | 96.7 |
| Adaptive ToM | 92.7 | 102.7 | 101.3 | 98.9 |
| Oracle | 110 | 118 | 125 | 117.7 |
| ToM2Vec | 98.0 | 107.7 | 114.3 | 106.7 |
ToM2Vec 平均 106.7,高出未训练 12.0 分,三张图都是非特权方法里最高的。提示词 ToM 平均只多 1.7 分,狭窄房间从 90.0 掉到 86.7。Language ToM 平均 97.6,三张图落后 6.0、9.0、12.3 分。协作环上文字版比基座低 0.7 分,连续向量高 11.6 分。Oracle 平均 117.7,仍领先 11 分。Self-Consistency 采三条推理取多数。SimToM 和 Adaptive ToM 是已有的提示式心智方法,后者只在 Overcooked 上比较。
| 任务 | 未训练 | ToM2Vec | 最接近的对照 |
| 谈判成交率 | 62.0% | 71.0% | 提示词 ToM 68.0% |
| 谈判自身得分 | 59.2 | 65.6 | SimToM 62.1 |
| 谈判集体效用 | 54.7 | 59.2 | Language ToM 同样 59.2 |
| Decrypto 解码胜率 | 10.4% | 14.8% | Language ToM 13.6% |
| Decrypto 拦截胜率 | 87.4% | 93.5% | Language ToM 93.0% |
| Hanabi（满分 25） | 8.9 | 11.3 | Language ToM 10.6 |
| 协作捕获率 | 0.67 | 1.00 | 提示词 ToM 也是 1.00 |
| 协作逃脱率 | 0.75 | 0.92 | SimToM 也是 0.92 |
谈判 100 局,至少六分之五的参与方接受才算出成交。Decrypto 两种角色各 1000 局,其余智能体是未训练 Qwen3-8B。解码方绝对胜率仍然只有 14.8%。Collab Capture 仅 6 个种子,ToM2Vec 平均 4.32 回合,短于同样全捕获的提示词 ToM（4.76）。Collab Escape 12 个种子,SimToM 逃脱率相同,回合更短,7.80 对 8.00。
换队友只做了 Overcooked,20 个种子,训练伙伴一直是 Qwen3-8B。配 GPT-5.4,三张图由 135、193、174 升到 152、214、188,平均多 17.3 分。配 Gemma-4-E4B,由 65、90、87 变为 68、105、94,每张图都是正增益,幅度更小。
心智探针是三道六选一,各 300 题,随机水平 16.7%。信念问队友以为本方要干什么,欲望问当前子任务,动作问下一步原语。ToM2Vec 为 52.3%、62.3%、64.0%,比次优高出 5.6、2.0、2.7 个点。把生成向量用的上下文换成另一张地图,队友真实思维的困惑度从 1.412 升到 1.702。改成蓄意拆台则是 1.613。98.6% 的样本里,真实上下文给出最低困惑度。
训练信号只有隐状态对齐,不碰环境奖励,所以同一套权重能接到协作、对抗和混合动机上。把队友思维写成文字,收益很小,个别地图还会退步。自博弈队友可以是开源 8B,上场伙伴可以换成训练时没见过的闭源模型,Overcooked 上增益还在。
提示词几乎不涨,Oracle 仍高出约 11 分。这是稳定的渐进改进,离直接看到队友私有想法还有一截。
训练必须读到队友思维链。上场队友可以换,提供监督的那个必须和主模型共享表示空间。也做不到提示词那样免训练。任务全是英文。
Collab 只有 6 和 12 个种子,捕获率从 0.67 到 1.00,噪声和增益分不开。跨模型泛化没有扩到谈判、Decrypto 和 Hanabi。信念准确率 52.3%,高于随机,离可靠的二阶心智还远。正文用「向量能同时装着多种假设」解释为何胜过文字,直接量到的是分差和对上下文篡改的敏感。缺一个对照:同样走 10 步隐状态,目标却不是队友思维。增益里有多少来自额外的思考预算,还没有拆开。显著性检验放在附录,错误信念测验也没有正文数字。