MIT 团队论文:LLM 内部存在可读出、可移植的目标编码
MIT 研究者 David Bau 团队与一作 Arnab Sen Sharma 发布新论文《Goal Encoding in LLMs》,追问一个基础问题:训练 agentic AI 就是在训练它追求目标,但当我们让模型连续工作数天甚至数周执行复杂任务时,并不清楚其真实目标是什么,结果可能令人意外。论文为此给出可验证的「目标」定义,并在模型内部定位到目标编码。
已确认
- 论文以三条标准功能判据定义「目标」:pre-commitment(先于行动确定)、plasticity(同一目标可换手段实现)、persistence(行动期间持续、完成后释放)。
- 研究有两大意外发现(据 David Bau 总结):其一,模型中存在一小组对下一目标起因果作用的稀疏注意力头,把其输出信号移植进 verbalizer prompt 后,模型会提前用英文描述自己即将追求的目标;其二,模型并不会把潜在目标跨步携带,而是在每一步重新读取任务描述、重新计算剩余工作。
- 实验证实目标编码可操纵:把另一条 prompt 缓存的 KV 状态换入,模型约 94% 的情况下改换目标。
- 对监控的利好:所测开源权重模型的目标保持锚定在可读的上下文中,有利于监控 prompt 与思维链、直接用语言描述模型目标。
尚未确认
- 研究仅覆盖最大 106B 参数的开源权重模型,结论是否适用于(经过 RLHF 等后训练的)更大规模闭源模型尚不清楚。
为什么重要
- 在 agent 被放手执行长程任务的趋势下,这项工作把「AI 的目标是什么」从哲学问题变成可实验验证的问题,并为通过自然语言读取和监控模型目标提供了技术路径。
2026-11-20 ~ 2026-11-20 · 7 条相关
一手来源
- 训练 agent 追求目标前先搞清「AI 目标是什么」:新论文给出可验证定义 — davidbau ·
- 新研究定位 LLM 目标编码:稀疏注意力头可移植并预先读出模型下一步 — davidbau ·
- 同一研究团队实测:交换 KV 缓存即可让模型改换目标,命中率约 94% — davidbau ·
- 新可解释性论文追问:语言模型内部真的编码了「目标」吗? — benno_krojer · 2026-11-20
- 训练智能体就是训练它追求目标,但 AI 的目标到底是什么? — davidbau · 2026-11-20
- 【源头】训练 agent 追求目标前先搞清「AI 目标是什么」:新论文给出可验证定义 — davidbau · 2026-11-20
- LLM 目标研究意外发现:目标编码可读出成自然语言,且不跨步携带 — davidbau · 2026-11-20
- 【源头】同一研究团队实测:交换 KV 缓存即可让模型改换目标,命中率约 94% — davidbau · 2026-11-20
- 【源头】新研究定位 LLM 目标编码:稀疏注意力头可移植并预先读出模型下一步 — davidbau · 2026-11-20
- AI 目标研究:模型目标锚定在可读上下文中,利于监控 — davidbau · 2026-11-20