LLM 目标研究意外发现:目标编码可读出成自然语言,且不跨步携带
davidbau · x · 2026-11-20
David Bau 在引用论文线程中总结 Arnab Sen Sharma 研究的两大意外发现:其一,模型中存在一小组对下一目标起因果作用的稀疏注意力头,把其输出信号移植进 verbalizer prompt 后,模型会提前用英文描述自己即将执行的动作;其二,模型并不把潜在目标跨步携带,每一步都重读任务并重算剩余工作,交换另一 prompt 的 KV 后约 94% 转而实现对应子目标。作者认为目标锚定于可读上下文,对监控 prompt、CoT 与目标显式化是利好。
所属事件:MIT 团队论文:LLM 内部存在可读出、可移植的目标编码(7 条相关)→
「安全」频道最新
- 安全研究者:半自主 agent 正以 2005 年无法想象的速度挖掘漏洞 — chrisrohlf · 2026-11-21
- Baseten拆解AI时代安全威胁模型:agent集群分钟级窃数据 — baseten · 2026-11-21
- 环保组织被曝密谋借「完善法案」之名扼杀 AI 安全法案 — aronchick · 2026-11-21
- 传 Anthropic 模型已破解主流加密算法,或仅向官方披露 — basedjensen · 2026-11-21
- OpenAI 扩大 Daybreak 攻防安全模型准入,GPT-6 Astra 蓝队 alpha 扩容 — OpenAIDevs · 2026-11-21
- AI 监管之争的关键分歧:该防风险,还是防监管被滥用 — herbiebradley · 2026-11-21