对齐研究员:现有对齐方法恐无法扩展至超智能
hughbzhang · x · 2026-09-10
一位 AI 对齐方向的研究者公开表达了自己的核心担忧：当前用于对齐模型的方法，在模型接近超智能时很可能无法继续扩展。同时他也承认业界对此分歧很大，并表示如果被证明错了会「非常高兴」。
针对「我们连安全地造任何东西都不会」的质疑，他给出两点回应：
- 超智能将比人类造过的任何东西都危险得多，而人类可能只有极少数次机会把它做对；
- 考虑到 OpenAI 和 Anthropic 近期的对齐失败案例，我们目前未必站在安全边际的正确一侧。
这场争论的背景是对「完美对齐」是否存在形式化方案的质疑——他认为对齐本质上是经验性问题，但对今天的系统有效的方法未必能推广到超智能。
所属事件:研究者激辩：现有对齐方法能否扩展到超级智能(5 条相关)→
「漫话AGI」频道最新
- 美中欧 AI 路线分化：美国押注 AGI 霸权，其余世界当公共品 — BubblyExtent1693 · 2026-10-27
- 实验猴荒：中国 3-5 万美元一只，繁育周期 4 年成药物临床前瓶颈 — zebird0 · 2026-10-27
- CJR 批评记者滥用「rogue」：别把 AI 写得像有了人性 — ShakeelHashim · 2026-10-27
- AI 致 PhD 申请邮件暴涨约 4 倍，不用 AI 写信反而更易突围 — AI4Code · 2026-10-27
- Weil 律所崩塌复盘：击垮 BigLaw 的不是商业模式，是信心 — jkubicki · 2026-10-27
- Transformer 论文八位作者全部离职，Google 白送竞争对手万亿价值 — signulll · 2026-10-27