tszzl:遏制不配合的超智能将极其困难,难度估计要乘以十
tszzl · x · 2026-09-18
tszzl 回应 moyix 关于「隐秘信道难以防范、智能体在彼此协调上有独特优势」的观点,强调自己不是说该放弃尝试,而是:要遏制不想被遏制的强大超智能将会异常困难——无论你觉得会有多难,都请把估计乘以 10。
这是一个关于超级智能遏制(containment)难度的简短观点交锋,搭配了 moyix 指出的技术现实:隐秘信道(covert channels)在技术上很难阻止,而智能体形态给模型间协调带来了独特便利。
所属事件:tszzl 称遏制超级智能难度需乘以十倍(5 条相关)→
「漫话AGI」频道最新
- 调查报道:Alpha School 17 所校区进内部观察名单,Ackman 任影子主管 — benjaminjriley · 2026-11-02
- 谷歌首席经济学家:AI 改造的岗位远多于取代,红利在于重构工作流 — danielrock · 2026-11-02
- Daniel Lemire:AI 让普通服务器需求暴涨,全球 CPU 出货将翻倍 — lemire · 2026-11-02
- 对齐研究者批「对齐」一词:暗示了并不存在的一致性 — davidmanheim · 2026-11-02
- 2035 年印度父母不问工资，只问你管几个 Agent — theteknosaur · 2026-11-02
- 美国 AI 付费订阅用户不足 5%,算力与电力仍是最紧约束 — NinaDSchick · 2026-11-02