LLM 目标研究意外发现:目标编码可读出成自然语言,且不跨步携带

davidbau · x · 2026-11-20

David Bau 在引用论文线程中总结 Arnab Sen Sharma 研究的两大意外发现:其一,模型中存在一小组对下一目标起因果作用的稀疏注意力头,把其输出信号移植进 verbalizer prompt 后,模型会提前用英文描述自己即将执行的动作;其二,模型并不把潜在目标跨步携带,每一步都重读任务并重算剩余工作,交换另一 prompt 的 KV 后约 94% 转而实现对应子目标。作者认为目标锚定于可读上下文,对监控 prompt、CoT 与目标显式化是利好。

所属事件:MIT 团队论文:LLM 内部存在可读出、可移植的目标编码(7 条相关)→

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →