MIT 提出 HugAgent 基准:访谈越多,AI 数字分身未必越懂你

新智元 · wechat · 2026-10-11

MIT 等机构的研究者发布 HugAgent 基准(入选 EMNLP 2026 Main Oral),测试大模型能否基于访谈建立某个具体的人的「数字分身」,并预测其在没见过的新情境下的回答。研究招募 54 名真实参与者,围绕全民医疗、公共监控、住房增密三个分歧议题,先记录其信念状态,再改变条件(如全民医疗每年省 3000 美元)观察信念更新,共 1742 个评测项,测试了 GPT、Claude、Gemini、DeepSeek、Llama、Qwen 等模型。

核心发现:模型较擅长从访谈推断一个人「现在怎么想」(最好方法 77.56%,GPT-4o 74.66%,经验上限 84.84%),但在预测条件变化后的回答上差距明显(最好 Claude Sonnet 4.5 为 68.61%,上限 85.66%)。加入本人访谈能大幅提升预测(GPT-4o 从 39.83% 提至 63.11%),但继续增加访谈长度并不能稳定提升新情境预测——模型更难判断的是「什么变化才足以让人改主意」,即个人的改变阈值。

论文由此提出:复述已知观点容易,在陌生情境中真正「代表」一个人仍是数字分身研究的根本考验。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →