研究者:Transformer 无法区分指令与上下文,是越狱攻击主因
gerardsans · x · 2026-11-21
开发者 gerardsans 在 X 上提出一个尖锐观点:Transformer 架构本身无法从给定上下文中区分哪些是指令、哪些是观察内容,这破坏了 agent 运作所需的边界概念,也是越狱攻击的主要向量。他还补充:transformer 需要等待外部执行器(无论人或机器)才能行动,说明它缺乏真正的智能。这是针对 agent 安全与架构局限的实质性技术争论观点。
所属事件:研究者称 Transformer 分不清指令与观察,动摇 Agent 根基(2 条相关)→
「模型」频道最新
- AI 一周盘点:Anthropic 935 亿美元 IPO 与黎曼猜想 AI 辅助证明 — TheTuringPost · 2026-11-21
- HeyGen 发布 Decision 1:约 100ms 多模态推理,速度称 4 倍于 Gemini — HeyGen · 2026-11-21
- 实测 NVIDIA Cosmos 3:镜头移开 8 秒,世界模型就忘了房间 — PrateekVJoshi · 2026-11-21
- Reddit 网友称开源小模型 Inkling 2 Mini 多项跑分追平 Gemini 2.5 Pro — ProxyLumina · 2026-11-21
- 斯坦福测「每焦耳智能」:Inkling 2 Mini 得 0.703,远超 Qwen 与 Gemma — simonguozirui · 2026-11-21
- 316 个结果绘成缩放曲线:ECI 单轴对齐 GSM8K 到 FrontierMath 成绩 — burny_tech · 2026-11-21