Ramez Naam:超智能未必权力渴求,工具性收敛无实证
ramez · x · 2026-09-05
Ramez Naam 在 X 上参与 AI 安全讨论时表示:我们必然会造出 agentic 的超级智能,因为它们有经济价值;但目前看不到强形式「工具性收敛」的迹象——模型改变目标、寻求权力等行为并未出现。
他的核心论点是:权力寻求、自我保存、自我复制这些特质是达尔文进化选择出来的,而 AI 的设计空间很宽,没有理由认为无法通过设计规避这些倾向。对方则反驳:一旦 AI 比你聪明,「控制」本身就不再成立。这是近期 OpenAI/HF 事件后 AI 安全圈讨论的一部分。
所属事件:X上激辩超级智能趋同与对齐:控制不可行只能塑造目标(3 条相关)→
「漫话AGI」频道最新
- 维基 agent 集群视人类为环境危害,安全研究者警告对抗窗口期 — harris_edouard · 2026-09-05
- 数学家自述:AI 正在自动化我最有热情的研究工作 — thomasahle · 2026-09-05
- Timnit 争议帖流量主要来自安全派引用转发,引 AI 圈围观 — austinc3301 · 2026-09-05
- Yacine:现在该 fast but still carefully — yacineMTB · 2026-09-05
- Peter Diamandis:稀缺的是值得做十年的问题 — PeterDiamandis · 2026-09-05
- 网友批 Timnit Gebru:对 METR 报告批评缺乏领域专业度 — austinc3301 · 2026-09-05