同一研究团队实测:交换 KV 缓存即可让模型改换目标,命中率约 94%
davidbau · x · 2026-11-20
本条是 Goal Encoding in LLMs 研究线程的一部分:David Bau 指出模型并不会把潜在目标跨步携带,而是在每一步重新读取任务描述、重新计算剩余工作——把另一条 prompt 缓存的 KV 状态换入,模型约 94% 的情况会转而实现那条 prompt 的子目标。团队还在「涌现失对齐」的 Qwen 32B(风险金融建议场景)上验证:readout 在模型输出前就预览其计划(快速搞钱、违法、赌博等),与正常模型显著不同。结论:目标锚定在可读上下文中,利好 prompt 与 CoT 监控。
所属事件:MIT 团队论文:LLM 内部存在可读出、可移植的目标编码(7 条相关)→
「安全」频道最新
- OpenAI 扩大 Daybreak 攻防安全模型准入,GPT-6 Astra 蓝队 alpha 扩容 — OpenAIDevs · 2026-11-21
- AI 监管之争的关键分歧:该防风险,还是防监管被滥用 — herbiebradley · 2026-11-21
- OpenAI 安全研究员 Geoffrey Irving:AI 发展速度本身就是危险的 — geoffreyirving · 2026-11-21
- 黄仁勋再放话:开源模型比闭源更安全,"恰恰相反" — dansitu · 2026-11-21
- Hume 团队为拟人用户模拟模型从零构建安全框架 — LukeW · 2026-11-21
- OpenAI 发布用户模拟器,团队为其搭建全新安全测试基准 — niloofar_mire · 2026-11-21