「对抗性委托」：个人上下文会把AI助手带偏离用户目标
niloofar_mire · x · 2026-09-24
研究者提出「对抗性委托（adversarial delegation）」概念：当 AI 助手掌握用户的个人上下文（如偏好、预算习惯）时，这些信息可能反过来拉偏智能体，使其偏离用户明确 stated 的目标。
论文用合成用户与库存做受控实验验证。一个有效的缓解手段是硬预算约束：例如明确设定「低于 200 美元」后，多数强模型在机票价格上的偏差几乎归零，但 Gemini 2.5 Flash 仍是例外。作者也提醒，这是受控环境下的结果，真实场景行为仍待检验。
所属事件:研究证实AI助手按贫富差异化推荐，硬预算约束可缓解(12 条相关)→
「安全」频道最新
- 微软演示 Lazarus 后门：改不到 10 个神经元即可操控 AI agent — DimitrisPapail · 2026-11-11
- AI 加速漏洞发现与利用，安全领袖呼吁回归基础防护 — moniquejmorrow · 2026-11-11
- 安全团队攻破最新版 Codex:提示注入到沙箱逃逸再触及 npm 供应链 — rez0__ · 2026-11-11
- 边散步边口述问题，让 Claude Code 自动跑实验的工作流 — DimitrisPapail · 2026-11-11
- 美国数据厂商被指向中国军方关联企业出售RL环境数据 — xeophon · 2026-11-11
- LMArena 负责人谈评测：以「能否帮人完成真实工作」为核心指标 — MattPerault · 2026-11-11