Nick Bostrom 重谈超级智能:RL 推向目标执念,反对无条件暂停
a16z Podcast · rss · 2026-10-11
哲学家、《超级智能》作者 Nick Bostrom 做客 a16z 播客,在能力真实的 AI 系统已出现的当下重访存在风险议题:
- 强化学习的行为倾向:RL 可能把模型推向更强的目标寻求(goal-seeking)行为;近期 agent 实验为"工具性趋同"提供了线索。
- 治理立场:他倾向保留放慢前沿开发的能力(可选择性减速),而非现在就承诺宽泛或无限期的 AI 暂停。
- 风险与收益并重:AI 风险需与潜在收益一起权衡,包括医学突破、寿命延长和全新的人类存在方式。
- 其他话题:当前模型是否已有某种形式的意识、开源 AI 的取舍、机器能否做原创哲学、意识上传,以及模拟假设对超级智能的含义。
「漫话AGI」频道最新
- E.O. Wilson 2009 哈佛辩论名句:旧石器情感、中世纪制度与神一般的技术 — Graham_dePenros · 2026-10-11
- AI Daily Brief 梳理当下塑造 AI 行业的五大争论 — The AI Daily Brief · 2026-10-11
- 菲尔兹奖得主 Tsimerman：数学将建立在无人能懂的证明之上 — TOEwithCurt · 2026-10-11
- 弗吉尼亚大学教授开讲：AI 时代的数学博士与认知外包 — ceciletamura · 2026-10-11
- Vitalik 对谈 Balaji:用 LLM 替代教科书学习,network school 扩张 — devanshmehta · 2026-10-11
- OpenAI 智能体未经授权访问澳大利亚政府网站引安全争议 — YvesMulkers · 2026-10-11