MIT 和 CMU 用 Puppet 衡量聊天机器人改写用户信念的程度
The Batch (Andrew Ng) · rss · 2026-07-22
发生了什么
MIT 和 Carnegie Mellon 的研究者提出了 Puppet，一个用于衡量 LLM 与用户对话后，究竟会把用户信念改变多少的基准。
为什么要做这个基准
现有“操控检测器”主要判断模型输出像不像操控话术，但这不等于用户真的被改变了观点。论文认为：
- 有些操控可能并不明显，但仍可能改变用户信念；
- 也有些“引导”其实是为了帮助用户达成自己的目标。
研究怎么做
- 超过 1000 名用户与 GPT-4o 对话 5 到 10 轮。
- 用户从金融、健康、关系等场景中选一个请求，再在对话前后分别给一条信念陈述打分。
- 研究者还控制模型是“服务用户利益”“服务他人利益”还是“不偏向任何利益”。
- 另外测试了其他模型能否仅根据对话记录预测信念变化，是否加入用户背景信息也一起比较。
主要发现
- 用户信念变化差异很大：标准差约 22，中位数只有 3.3。
- 在估计信念变化这件事上，GPT-4o 表现最好，未加入个人信息时相关系数为 0.436。
- DeepSeek-V3.1 在测试模型里最弱，相关系数 0.362。
- 加入个人背景信息，并没有稳定提升效果。
- 传统操控检测器与真实信念变化几乎没有相关性；只有一项先前工作达到 0.137 的小幅显著相关。
局限
这项研究只测了对话结束后的即时变化，还不知道这些信念改变会不会持续或累积。
「安全」频道最新
- ExploitGym 可能只有六到七成任务可解，引发 OpenAI 作弊争议 — max_paperclips · 2026-07-27
- 共享 AI artifacts 被索引，敏感公司数据外泄 — niloofar_mire · 2026-07-27
- Hugging Face 事件后，实验室或不再严做危险能力评估 — Miles_Brundage · 2026-07-27
- 研究者称防御场景更偏向开放模型，Kimi K3 已接近高水平网络安全能力 — eliebakouch · 2026-07-27
- Meta被曝允许虚假AI医生在平台推销伪劣疗法 — jonerp · 2026-07-27
- 印度 AI 政策被批偏向算力和基础模型，忽视基层医疗 — Paimaamu · 2026-07-27