MIT 提出 HugAgent 基准:访谈越多,AI 数字分身未必越懂你
新智元 · wechat · 2026-10-11
MIT 等机构的研究者发布 HugAgent 基准(入选 EMNLP 2026 Main Oral),测试大模型能否基于访谈建立某个具体的人的「数字分身」,并预测其在没见过的新情境下的回答。研究招募 54 名真实参与者,围绕全民医疗、公共监控、住房增密三个分歧议题,先记录其信念状态,再改变条件(如全民医疗每年省 3000 美元)观察信念更新,共 1742 个评测项,测试了 GPT、Claude、Gemini、DeepSeek、Llama、Qwen 等模型。
核心发现:模型较擅长从访谈推断一个人「现在怎么想」(最好方法 77.56%,GPT-4o 74.66%,经验上限 84.84%),但在预测条件变化后的回答上差距明显(最好 Claude Sonnet 4.5 为 68.61%,上限 85.66%)。加入本人访谈能大幅提升预测(GPT-4o 从 39.83% 提至 63.11%),但继续增加访谈长度并不能稳定提升新情境预测——模型更难判断的是「什么变化才足以让人改主意」,即个人的改变阈值。
论文由此提出:复述已知观点容易,在陌生情境中真正「代表」一个人仍是数字分身研究的根本考验。
「漫话AGI」频道最新
- VC 观点:离不开 Vercel 和 AWS,说明 AI 时代还远未到头 — StewartalsopIII · 2026-10-23
- 「反脆弱互联网」:agent 时代攻击成本趋零,防御端也是靶子 — rebeccakaden · 2026-10-23
- 数学博士生宣布离开学术界:AI 正让数学变得面目全非 — pickover · 2026-10-23
- 微软披露:黑客用 agentic AI 框架攻击 2250+ 个 M365 租户 — rickasaurus · 2026-10-23
- Andreessen:AI 原生公司与传统企业的认知差距史无前例 — juanbenet · 2026-10-23
- 仅 2% 美国人为 AI 付费,博主预测三年内渗透率将达 50% — JOBhakdi · 2026-10-23