Google 论文 Fuse:模拟构建基准,测 12 个 LLM 的社交动机推断力

dair_ai · x · 2026-09-16

dair-ai 推荐了一篇 Google Research 论文,研究 LLM 助手如何推理用户生活中的人际关系。人们经常向助手寻求社交建议,但助手只听到用户一方的叙述;衡量它是否正确理解局面很难,因为他人意图没有 ground truth。

Fuse 方法用模拟构建基准:

• 一个带有隐藏动机的目标智能体与其他智能体(含一个扮演用户的)交互
• 用户智能体把经过自身视角加工的事件描述给助手,助手需推断隐藏动机

评测:

• 用 2.4 万条人类标注验证模拟的有效性
• 测试了 12 个 LLM

发现:仅通过用户的转述听事件使任务更难;用户的偏向性框架会改变助手的回答;模型有时比人类需要更多细节;留有澄清问题空间的长对话并未让推理变容易。

原文链接 →

「研究」频道最新

• 新评测探针:10 个视觉基座模型按 4 层级考「跨观测空间状态保持」 — liuziwei7 · 2026-11-02
• General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02
• 数学家 Tony Feng：当前范式 LLM 缺乏研究所需的思维多样性 — littmath · 2026-11-02
• 「不懂测度论就学不了概率」？数学圈调侃形式化与本质的错位 — LucaAmb · 2026-11-02
• DStill 论文：蒸馏多步去噪轨迹，块扩散投机解码提速至 6.45 倍 — LucaAmb · 2026-11-02
• 研究发现门控参与度与生成质量强相关，径向目标降 FID 至 11.83 — Junha Park · 2026-11-02

更多「研究」频道 AI 资讯 →