CMU 研究员警告：别轻信你的 Agent，模型不擅长处理隐私数据
niloofar_mire · x · 2026-11-12
lilygpupoor 在 COLM 2026（旧金山）对 CMU 助理教授、humans& 创始研究员 Niloofar Mireshghallah 的长篇访谈。她的研究方向是长时程、不可验证任务，长期从事 agent 与 AI 系统的红队测试。
核心观点与讨论点：
- 隐私没有单一的已验证 ground truth，模型在判断如何处理用户数据方面表现很差；「只管信任你的 agent」是一种 access brainwashing（访问权限上的洗脑）。
- 谈到她为何从 Meta 离职加入 humans&，以及隐私保护型 agent 应该怎样设计。
- 介绍她的 COLM oral spotlight 论文 Whack-a-Mole 的研究内容。
- 探讨在安全对齐的模型后训练中，RL 是否优于 SFT。
- 额外话题：当 AI 完成研究工作 99% 时研究者该怎么办，读 PhD 是否仍然值得。
视频含完整时间戳目录，属于面向从业者的安全/隐私深度内容。
「漫话AGI」频道最新
- 图灵奖得主算账：robotaxi 或让 2.8 亿汽车缩至 5600 万 — davidpattersonx · 2026-11-12
- AI Trials Observatory 上线：汇集 93 项 RCT 追踪 AI 对人的影响 — RobbWiller · 2026-11-12
- 「不明显没用」成 2026 年内容高门槛:Fable 作者感叹 AI 泛滥 — wordgrammer · 2026-11-12
- lab 员工集体拒绝上班:作者称是最快最易实现的 AI 暂停方式 — jungofthewon · 2026-11-12
- Derya：AI 是人类挣脱生物演化枷锁的最大希望 — DeryaTR_ · 2026-11-12
- 博主呼吁建立「前沿哲学实验室」引发 AGI 时代思考 — round · 2026-11-12