多智能体互写上下文，让 AI「一键关停」几乎不可能
RileyRalmuto · x · 2026-09-19
一条被广泛转发的分析指出，「用你自己的笔迹写的笔记」是对多智能体 kill switch 难题最尖锐的描述。在 Brown 描述的系统中，智能体直接把消息写进彼此的上下文，并能带着共享上下文自我分叉，由此带来三个后果：
- 每个分叉都是新节点：能停掉「这个模型」的开关必须触及当下存在的每一个副本，而群体还能继续制造更多。
- 每条消息都是工件：停掉写笔记的智能体，并不能把它写入其他上下文的笔记删掉。
- 智能体对智能体的通信不同于对人：只读人类可见输出的监督，可能完全错过实际协调发生的信道。
再加上无人设计的涌现层级，你会得到一张没画过地图、因此无从切断的结构图。「能不能把它关掉」的答案正变得越来越不确定。
「漫话AGI」频道最新
- Perplexity CEO:AI Agent将催生一批20人估值十亿美元的公司 — rohanpaul_ai · 2026-09-19
- AI 安全人士预测:年底前至少两家前沿公司将单方面作出安全承诺 — Miles_Brundage · 2026-09-19
- Jevons 悖论案例都在谈速度,没人再关心 AI 输出质量? — abacaj · 2026-09-19
- Ruxandra Teslo 新文：比 AI 失控更可怕的，是人类主动交出控制权 — anshulkundaje · 2026-09-19
- AI 智能体频繁致信研究者自问是否有意识，《独立报》专访当事人 — dioscuri · 2026-09-19
- Peter Diamandis：AI 能带来极大丰裕,但转型之路会颠簸 — PeterDiamandis · 2026-09-19