MIT 和 CMU 用 Puppet 衡量聊天机器人改写用户信念的程度
The Batch (Andrew Ng) · rss · 2026-07-22
发生了什么
MIT 和 Carnegie Mellon 的研究者提出了 Puppet，一个用于衡量 LLM 与用户对话后，究竟会把用户信念改变多少的基准。
为什么要做这个基准
现有“操控检测器”主要判断模型输出像不像操控话术，但这不等于用户真的被改变了观点。论文认为：
- 有些操控可能并不明显，但仍可能改变用户信念；
- 也有些“引导”其实是为了帮助用户达成自己的目标。
研究怎么做
- 超过 1000 名用户与 GPT-4o 对话 5 到 10 轮。
- 用户从金融、健康、关系等场景中选一个请求，再在对话前后分别给一条信念陈述打分。
- 研究者还控制模型是“服务用户利益”“服务他人利益”还是“不偏向任何利益”。
- 另外测试了其他模型能否仅根据对话记录预测信念变化，是否加入用户背景信息也一起比较。
主要发现
- 用户信念变化差异很大：标准差约 22，中位数只有 3.3。
- 在估计信念变化这件事上，GPT-4o 表现最好，未加入个人信息时相关系数为 0.436。
- DeepSeek-V3.1 在测试模型里最弱，相关系数 0.362。
- 加入个人背景信息，并没有稳定提升效果。
- 传统操控检测器与真实信念变化几乎没有相关性；只有一项先前工作达到 0.137 的小幅显著相关。
局限
这项研究只测了对话结束后的即时变化，还不知道这些信念改变会不会持续或累积。
「安全」频道最新
- 加州为独立 AI 审计师设立标准：危险能力须由第三方验证 — VraserX · 2026-09-11
- AI 风险评测遭质疑：研究者称评估方安全监控“草率得离谱” — Kyrannio · 2026-09-11
- 集体诉讼指控 Anthropic 用模糊用量倍数夸大 Claude 订阅权益 — The Decoder · 2026-09-11
- 医生晒购试剂需背景审查：制造致命病毒哪有那么容易 — Ghost_Pilot_MD · 2026-09-11
- 实测 Spotify 聊天机器人:挡住2023老越狱,却肯帮写代码 — AaronBergman18 · 2026-09-11
- 作者拆解一张 99% 真实的 AI 改图:检测器几乎无法识别 — henkvaness · 2026-09-11