iamtrask:AI 风险本质是权力集中,对齐只在权力集中时才重要
iamtrask · x · 2026-09-20
OpenAI 研究者 iamtrask 发推文串提出:AI 风险的最佳概括是权力集中——AI 若未先积累足够权力就很难造成危害;RSI(自我改进)本质是权力集中的正反馈循环,每一轮集中会催生更大集中。
由此他推出两个反直觉结论:
- 对齐的重要性取决于权力集中度:如果所有人的能力被 AI 同等提升,任何特定 AI 的价值观其实不太重要。
- AI 行业最大的错误,是假定(或愿意相信)最大化 AI 收益必须伴随权力集中。
面对"自动驾驶、AlphaGo、AlphaFold 已是狭义超智能且未失控"的反驳,他回应:可以继续只做狭义 AI,但存在一个反常激励——AI 公司自己也想集中权力,因此不愿 legitimise 这套叙事。
所属事件:OpenAI 研究者 iamtrask：AI 风险本质是权力集中，反垄断与版权是首要安全策略(13 条相关)→
「漫话AGI」频道最新
- 创始人二分法：拥抱 AI 的人效率提升 2-10 倍，恐慌者注定落后 — bindureddy · 2026-09-20
- Calibration is all you need:预测准不准不重要，概率可信才重要 — zsakib_ · 2026-09-20
- 研究员反讽末日论：若暂停前沿 AI 研发，十年内人类灭绝概率约 10% — JJitsev · 2026-09-20
- Domingos 感叹：RL 浪费的算力规模令人咋舌 — pmddomingos · 2026-09-20
- AI Agent 替用户打通客服电话并解决问题，客服毫无察觉 — ziv_ravid · 2026-09-20
- 一句prompt出成果的时代，学术审稿怎么办 — JJitsev · 2026-09-20