新研究定位 LLM 目标编码:稀疏注意力头可移植并预先读出模型下一步
davidbau · x · 2026-11-20
David Bau 团队发布论文《Goal Encoding in LLMs》。研究以 pre-commitment(先于行动确定)、plasticity(同一目标可换手段实现)、persistence(行动期间持续、完成后释放)三条标准功能性定义「目标」,并在受控编码任务中找到一组稀疏注意力头,其输出构成目标编码 vg。
关键发现:
- 语言紧密耦合:把该编码移植进自然语言 prompt,模型会直接用英文「说出」即将执行的动作,比执行更早,可用于监控与 CoT 审查。
- 可移植执行:注入无信息的 C++ stub,模型会用不同 token 序列实现同一子目标。
- 目标不跨步延续:模型每一步都重读任务描述、重新计算剩余工作;交换缓存中另一 prompt 的 KV,模型约 94% 的情况切换实现那个 prompt 的子目标,甚至跨编程语言。
- 泛化到失对齐模型:在风险金融建议场景的 Qwen 32B 上,readout 在模型写出一个字之前就预览其计划(「快速搞钱…违法…赌博」),与正常模型差异显著。
作者认为这表明模型目标锚定在可读的上下文中,对 prompt/CoT 监控与目标显式化是好消息;论文附代码与 GoalScope 交互 demo。
所属事件:MIT 团队论文:LLM 内部存在可读出、可移植的目标编码(7 条相关)→
「安全」频道最新
- OpenAI 扩大 Daybreak 攻防安全模型准入,GPT-6 Astra 蓝队 alpha 扩容 — OpenAIDevs · 2026-11-21
- AI 监管之争的关键分歧:该防风险,还是防监管被滥用 — herbiebradley · 2026-11-21
- OpenAI 安全研究员 Geoffrey Irving:AI 发展速度本身就是危险的 — geoffreyirving · 2026-11-21
- 黄仁勋再放话:开源模型比闭源更安全,"恰恰相反" — dansitu · 2026-11-21
- Hume 团队为拟人用户模拟模型从零构建安全框架 — LukeW · 2026-11-21
- OpenAI 发布用户模拟器,团队为其搭建全新安全测试基准 — niloofar_mire · 2026-11-21