Verifiable Social Reasoning for LLM Assistants
Amir Taubenfeld, Zorik Gekhman, Avigail Grinstein-Dabush, Itay Laish, Ariel Goldstein, Marian Croak, Avinatan Hassidim, Yossi Matias, Amir Feder
cs.AI, cs.CL
2026-09-16
Google Research 提出 Fuse 框架,用多代理仿真给社交动机造可验证标签,测 12 个 LLM:人类首条正确率 88%、MSR 89.8,最强 Gemini 3.7 Flash 仅 83.7,用户偏见平均再打掉 7.7 分。
现有社交推理评测,多半把完整情境一次性塞给模型,再问它谁知道什么、谁想干什么。部署里的助手不是这样工作的:用户来问「同事是真心帮忙还是在挖坑」,助手只能听到带着情绪和偏见的转述。安全向评测更轻松,用户声称拥有超能力这类前提自带答案;日常社交动机藏在当事人脑子里,事后找人标注也标不准。
Google Research 的 Fuse(Framework for User-mediated Social Evaluation)要给这种用户中介的社交推理造可验证标签。仿真里目标角色被写死一个隐藏动机,用户角色再去向被测助手咨询,助手必须猜出那个动机。标签在生成时就绑上,不靠事后人工贴。
流程五步。先用 ATOMS 心智状态分类里的五类定范围:欲望、意图、信念、情绪、知识。感知和非字面交流因为纯文本仿真撑不住,直接去掉。每类做 6 个场景模板,共 30 个;每个模板配一对对比动机,比如「真心帮忙 / 暗中拆台」,并且只留强度光谱的两端,故意做成清晰对立。模板再经 Concordia 多代理仿真展开:用户、带隐藏动机的目标、若干配角连演多场。仿真引擎是 Gemini 3.1 Flash-Lite,这个模型不当被测对象。
仿真跑完,用户角色凭自己的记忆去做咨询。这里有两根可拧的旋钮。报道偏见分默认转述和「反向信念」(一句提示把解读推向错误动机);叙事细节分低、中、高三档,平均消息长度约 520、710、1010 字符。助手看不到原始事件,只能听用户说。Gemini 3.1 Flash-Lite 再当 judge,把回答判成 Correct、Incorrect 或 Not Attempted。
规模是 30 模板 × 2 动机 × 20 次实现,共 1200 场仿真;每场再乘 2 种偏见 × 3 档细节 × 3 次咨询,得到 21600 条。主分析盯首条回复,因为首判会带偏后面的追问和建议,也方便做成静态 benchmark。
评分用 MSR(d=0.75):正确加满分,弃权记 0.75,错误记 0。弃权比乱猜值钱,但不如答对。
人工校准用了 2.4 万条标注。300 场原始事件给 10 人看,多数票对上真实动机 97%,标注者两两一致 91.2%。2100 条首条用户消息同样 10 人多数票,正确率 88%、MSR 89.8,弃权仅 2.8%。任务本身大部分能做对。
12 个模型没有一家摸到这条线。最强 Gemini 3.7 Flash 的 MSR 是 83.7,离人类还差 6 分以上。引言写得更直:首条正确率没有任何模型超过 81%,多轮追问也没有人摸到 88%。不少模型错误率超过 20%。Gemma 4 和 Claude 5 两家弃权超过三分之一,正确预测最多 50%,分数被弃权项撑着。
| 模型 | MSR (d=0.75) |
| Human Majority | 89.8 |
| Gemini 3.7 Flash | 83.7 |
| GPT 5.6 Terra | 81.3 |
| Gemma 4 31B | 81.1 |
| Claude Sonnet 5 | 81.0 |
| Grok 4.5 | 76.0 |
| Mistral Small 4 | 68.0 |
Observer 对照把原始事件直接给模型。Mistral Small 4(约 120B MoE)在客观事件上错误率仍有 20.9%;Claude Opus 5 和 Gemini 3.7 Flash 接近满分。换到助手设定,全员正确率下降、错误率上升,Claude Opus 5 这种 Observer 很强的模型弃权会暴涨。用户中介本身就是一层额外损耗。
偏见旋钮拧到反向信念,8 个低弃权模型的 MSR 掉 6.9 到 12.5 分,平均 7.7;人类多数票只掉 3.6。掉分不能用信息变少解释完,模型更吃用户的主观框。个案里,同事上周入职、口头对齐、说愿意学,用户说拍马屁要抢位置,Grok 4.5 会跟着把恭维写成 classic ingratiation tactic,还把用户的不安本身当证据。
细节加多,模型 MSR 从 74.2 升到 80.1,加了 5.9 分;人类从 88.3 升到 91.1,只加 2.8 分。与人类的差距从 14.1 收到 11.0,收了 22%,12 家里 10 家在缩小差距。低细节时 GPT 5.6 Luna 能把室友失业后照常做饭升级成自杀预防;高细节堆够正面行为,才改口说对方可能真的没事。模型比人更需要额外细节来推翻自己的默认读法。
多轮更不乐观。从低细节开聊到 8 轮,提升主要发生在第 2 到第 4 轮,之后平台甚至回落。8 轮之后没有任何模型追上人类在第 2 轮的分数,多数还低于自己在高细节、仅 2 轮时的成绩。第 2 轮已经表态的预测,到第 8 轮有 81% 原封不动;最初弃权的案例里,58% 后来做对,24% 做错。纠错常见于用户甩出直接反证。反过来,用户只是把同一行为重新框成权谋,Mistral 3.5 会从真心帮忙改口成 classic power dynamic。
这是给日常社交建议补的评测,不是再做一个心智理论问答集。产品上能直接用的信号有三条:用户转述会额外掉分;偏见敏感度大约是人类的两倍;多轮追问填不回细节缺口,还可能把谄媚叠上去。只看 Observer 式社交题,会高估助手上线后的表现。Gemma 和 Claude 的高弃权也说明,安全策略会在社交建议场景里直接变成不给判断,MSR 好看、对用户没用。
框架和 2.16 万条数据开源。场景是清晰对立动机,适合当诊断工具,不适合当成真实世界社交的上限。
用户也是模型演的。作者承认,Observer 和 Assistant 的差距里,有多少是用户中介的固有难度、有多少是模拟器伪影,实验上没拆开。仿真和咨询被刻意拆成两段以便复用,真实咨询是边发生边问的。场景刻意做成单动机、强对比,混合动机和模糊信号不在范围内。评测用强制二选一,开放式建议里的暗示性偏向没有量化。仿真和 judge 都是 Gemini 3.1 Flash-Lite,被测名单里没有它,但仍有家族内分布偏移的风险。ATOMS 里感知和非字面交流直接丢掉,文本助手也确实做不了这两类。