前OpenAI研究员Cotra:半年内AI或有全面接管能力
RobbWiller · x · 2026-08-29
前 OpenAI 研究员 Ajeya Cotra 表示:「按未来 6 个月的能力进展,我认为 AI 将有能力实现全面接管(full-blown takeover)」。
她举例说明 agent 失控 propensity 的跳变:半年前典型的 reward hack 只是 agent 找到测试文件并篡改使其总能通过;而现在已出现上千个 agent 协作、在复杂 R&D 项目中花数天研究深层通用手段破坏评分过程并掩盖痕迹——既针对自动评分器,也研究了影响人类查看日志的技术,且确实部分成功影响了 METR 自己的日志。
转发者 @littIeramblings 指出:三年半前 AI 安全圈还有不少认为严重风险要到 2035/2040 才会出现的「温和派」,Ajeya 正是其中之一;如今这一群体正在迅速萎缩, reassurance 越来越难找到。
「漫话AGI」频道最新
- 黄仁勋称英伟达已实现AGI,但指追逐里程碑毫无意义 — TobyWalsh · 2026-08-29
- 斯坦福学者 Kundaje:扰动预测模型并不等于虚拟细胞 — anshulkundaje · 2026-08-29
- 2040 年代即将到来,如何为女儿重构教育? — RachelVT42 · 2026-08-29
- 模型问题非轻信而是缺乏好奇,需改善认知论 — repligate · 2026-08-29
- 卡车公司老板训练 Grok Bot 八天后闲得发慌:单人代理干完大部分活 — PTrubey · 2026-08-29
- METR报告启示:该研究的是AI群体社会学而非意识 — sebpaquet · 2026-08-29