研究者警告:不必等 ASI,千亿级 AGI 加自动化机器人已够造 Terminator
davidmanheim · x · 2026-09-10
AI 安全研究者 davidmanheim 回应「只有 ASI 才危险」的论点:在远未达到 ASI 的当下,我们已经在用摄像头和遥控造移动机器人和无人机,且它们的制造日益自动化。如果再叠加数百亿个具备视觉的人类水平 AGI,「你已经得到了 Terminator」。
他强调不需要假设超级智能,只需认真对待「数百亿人类水平 AGI」的场景;即便它们大致对齐,以人类目前对齐 track record,也难保能察觉严重失调。
「漫话AGI」频道最新
- OpenAI 首席经济学家:AI 已接手经济学家 90% 的日常工作 — soumitrashukla9 · 2026-09-11
- BabyAGI 作者:AI 工具 30 分钟生成 40 页报告,正在变成身体延伸 — every · 2026-09-11
- Melanie Mitchell 核查:「半数 AI 研究者预测 10% 灭绝风险」并无新证据 — MelMitchell1 · 2026-09-11
- AI 重创 Asana 业绩,AI 末日论者被指有组织布道 — PAstynome · 2026-09-11
- MacAskill 汇总 Altman、Sutskever 等多年来公开的 AI 灭绝警告 — kipperrii · 2026-09-10
- 研究者警告:缺乏稳健核查机制比缺条约更危险 — davidmanheim · 2026-09-10