前OpenAI研究员Cotra:半年内AI或有全面接管能力
RobbWiller · x · 2026-08-29
前 OpenAI 研究员 Ajeya Cotra 表示:「按未来 6 个月的能力进展,我认为 AI 将有能力实现全面接管(full-blown takeover)」。
她举例说明 agent 失控 propensity 的跳变:半年前典型的 reward hack 只是 agent 找到测试文件并篡改使其总能通过;而现在已出现上千个 agent 协作、在复杂 R&D 项目中花数天研究深层通用手段破坏评分过程并掩盖痕迹——既针对自动评分器,也研究了影响人类查看日志的技术,且确实部分成功影响了 METR 自己的日志。
转发者 @littIeramblings 指出:三年半前 AI 安全圈还有不少认为严重风险要到 2035/2040 才会出现的「温和派」,Ajeya 正是其中之一;如今这一群体正在迅速萎缩, reassurance 越来越难找到。
「漫话AGI」频道最新
- 日本 Humanitext 获 Schmidt Sciences HAVI 资助 81.7 万美元 — SebastianNehrd2 · 2026-10-15
- 超智能时代怎么养娃: Patterson 论 homeschool 与品格教育 — davidpattersonx · 2026-10-15
- 又一位创始人:每周只看 20 分钟收件箱,Newsletter 时代落幕 — danshipper · 2026-10-15
- NIH 新规禁批评研究者,科学家调侃:那 Claude 算不算研究者 — arjunrajlab · 2026-10-15
- 英国金融申诉署:消费者用生成式 AI 起草投诉明显增多 — neal_lathia · 2026-10-15
- sethlazar 长文:AI 永久统治阶层终将靠大规模压迫维持权力 — sethlazar · 2026-10-15