研究者激辩超级智能:正因无从预测,更不该假设它永远利于人类
danfaggella · x · 2026-10-27
AI 伦理研究者 Dan Faggella 回应质疑,阐述其对 AGI 风险的论证逻辑:
- 被质疑「你又不是预言家,凭什么断定未来对人类不利」,他回应称自己的立场并非宣称结局「不可避免」。
- 他的核心论点是:对于可能急速自我提升(foom)的超级智能,人类对其永久行为完全无知,因此在无知之下不应预设它会永远自动造福人类。
- 他反驳「既然不知道,人类永远相关也同样可能」的说法:这相当于赌硬币连掷一万亿次全是正面——即所有未来后人类心智永远恰好达成人类期望的以人为中心的安排。
- 他对「人类可能变得无关、只有短暂的合并或保持微弱相关性的机会窗口」的判断,恰恰是建立在这种无知之上的审慎假设。
「漫话AGI」频道最新
- Wolfram ARC Prize 演讲：计算不可约性保证发现永无止境 — mhmazur · 2026-10-27
- Bengio 谈 LawZero 对齐研究与联合国 AI 治理国际协作 — Yoshua_Bengio · 2026-10-27
- MIT 教授 McAfee:我们低估了技术进步的规模、速度与广度 — amcafee · 2026-10-27
- 模型 CoT 吐落数学家沦为「原始数据搬运工」,OpenAI 拒署名引争议 — aiamblichus · 2026-10-27
- 4000 万张人脸训练出「自拍预测癌症生存率」模型，引发争议 — TinfoilTricorn · 2026-10-27
- tracewoodgrains:人类很可能永远不再引领理解宇宙的前沿 — CatAstro_Piyush · 2026-10-27