训练 agent 追求目标前先搞清「AI 目标是什么」:新论文给出可验证定义
davidbau · x · 2026-11-20
David Bau 在研究线程开篇提出问题:训练 agentic AI 意味着训练它们追求目标,让 agent 独立工作数天或数周时,如果我们不知道它们的真实目标,很容易被意外。团队因此在新论文《Goal Encoding in LLMs》中给出目标的功能性定义,并找到模型内部承载目标编码的稀疏注意力头——该信号移植进自然语言上下文后,模型会用英文说出下一步行动,早于执行开始。
所属事件:MIT 团队论文:LLM 内部存在可读出、可移植的目标编码(7 条相关)→
「安全」频道最新
- 安全研究者:半自主 agent 正以 2005 年无法想象的速度挖掘漏洞 — chrisrohlf · 2026-11-21
- Baseten拆解AI时代安全威胁模型:agent集群分钟级窃数据 — baseten · 2026-11-21
- 环保组织被曝密谋借「完善法案」之名扼杀 AI 安全法案 — aronchick · 2026-11-21
- 传 Anthropic 模型已破解主流加密算法,或仅向官方披露 — basedjensen · 2026-11-21
- OpenAI 扩大 Daybreak 攻防安全模型准入,GPT-6 Astra 蓝队 alpha 扩容 — OpenAIDevs · 2026-11-21
- AI 监管之争的关键分歧:该防风险,还是防监管被滥用 — herbiebradley · 2026-11-21