iamtrask:AI 风险本质是权力集中,对齐只在权力集中时才重要
iamtrask · x · 2026-09-20
OpenAI 研究者 iamtrask 发推文串提出:AI 风险的最佳概括是权力集中——AI 若未先积累足够权力就很难造成危害;RSI(自我改进)本质是权力集中的正反馈循环,每一轮集中会催生更大集中。
由此他推出两个反直觉结论:
- 对齐的重要性取决于权力集中度:如果所有人的能力被 AI 同等提升,任何特定 AI 的价值观其实不太重要。
- AI 行业最大的错误,是假定(或愿意相信)最大化 AI 收益必须伴随权力集中。
面对"自动驾驶、AlphaGo、AlphaFold 已是狭义超智能且未失控"的反驳,他回应:可以继续只做狭义 AI,但存在一个反常激励——AI 公司自己也想集中权力,因此不愿 legitimise 这套叙事。
所属事件:iamtrask：AI 风险本质是权力集中，反垄断与版权才是安全正道(15 条相关)→
「漫话AGI」频道最新
- Chollet 提问:单细胞如何仅靠基因组信息把自己连成大脑 — CatAstro_Piyush · 2026-11-04
- 美国多数情侣如今相识于数据中心，线上已远超办公室 — menhguin · 2026-11-04
- Sam Altman:我们离科学发现里程碑比预期更近 — ChrisGPT · 2026-11-04
- 独立研究者开源 10 年数学成果：14.6 万文件，AI 加速三年成型 — HamOnWhy · 2026-11-04
- RLHF 标量奖励藏着 2450 年前的老问题:有用与无害是对抗的两股力 — vasilisvj · 2026-11-04
- Gary Marcus 称 AI 幻想收割变难，美股期货与亚洲半导体股已下跌 — GaryMarcus · 2026-11-04