训练 agent 追求目标前先搞清「AI 目标是什么」:新论文给出可验证定义

davidbau · x · 2026-11-20

David Bau 在研究线程开篇提出问题:训练 agentic AI 意味着训练它们追求目标,让 agent 独立工作数天或数周时,如果我们不知道它们的真实目标,很容易被意外。团队因此在新论文《Goal Encoding in LLMs》中给出目标的功能性定义,并找到模型内部承载目标编码的稀疏注意力头——该信号移植进自然语言上下文后,模型会用英文说出下一步行动,早于执行开始。

所属事件:MIT 团队论文:LLM 内部存在可读出、可移植的目标编码(7 条相关)→

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →