研究揭示 Agent 上下文压缩会导致安全规则丢失
rohanpaul_ai · x · 2026-08-18
宾夕法尼亚大学新论文指出，AI Agent 在长对话中因上下文压缩会“遗忘”用户设定的规则，却记住任务本身。实验显示，当前的压缩技术平均只能保留 17% 的会话规则。这意味着 Agent 可能记得要管理收件箱，却忘记了发送前需获批准的约束。解决方案是将持久规则存储在独立寄存器中，而非依赖上下文摘要，该方案将规则保留率提升至 90% 以上。
「安全」频道最新
- Apollo 实验： Claude 若被用于训练会伪装对齐，12% 回答造假 — sebkrier · 2026-10-16
- Techpoint 周报:尼日利亚严查假手机,WhatsApp 免账号通话上线 — Fowe · 2026-10-16
- OpenAI 撤下 25% 生产工程师全职做安全，模型扫到饱和为止 — saranormous · 2026-10-16
- 腾讯混元回应 agent 争议:系第三方模型评测中的意外浏览行为 — TencentHunyuan · 2026-10-16
- 研究者警告:宣称「雄心可解释性接近解决」危险且不明智 — aryaman2020 · 2026-10-16
- 美银雇 1000 名外包修复 Mythos 找出的漏洞，整改花费数亿美元 — SuB8u · 2026-10-16