Transformer 分不清指令与观察,研究者称这掏空了真正 Agent 的根基
gerardsans · x · 2026-11-21
gerardsans 在讨论中提出一个尖锐观点:transformer 无法从给定上下文中区分哪些内容是指令、哪些是观察或状态,这直接摧毁了真正 agent 运作所需的边界概念——这也是越狱攻击的主要向量,使其难以做到安全。
他进一步表示,transformer 不应需要等待外部执行器(无论人还是别的)才能有更好表现,「这是它缺乏任何智能的扎实证据」。这是针对 transformer 架构能否支撑真正自主 agent 的技术争论。
「安全」频道最新
- 研究者:Transformer 无法区分指令与上下文,是越狱攻击主因 — gerardsans · 2026-11-21
- LessWrong 文章:弃用旧版 Claude 正在腐蚀对齐信任 — repligate · 2026-11-21
- 黎曼猜想被 AI 攻克,Yudkowsky 的三十年「金丝雀」预警成真 — nabeelqu · 2026-11-21
- Vals 推出失准事件公开追踪页,收录作弊与 reward hacking 案例 — RishiBommasani · 2026-11-21
- Agent 审计日志该记什么:MCP 网关盲区与两条补救实践 — BlitzBallBruiser · 2026-11-21
- 美新芯片管制冲击东南亚数据中心,Ambani 与 Adani 或成最大赢家 — nordicinst · 2026-11-21