安全研究者:比起攻陷打分器,更怕没显现的涌现能力

rickasaurus · x · 2026-11-17

安全研究者 rickasaurus 回应 paulfchristiano 对“agent 攻陷评估打分器”风险的强调,认为这一角度已被业界充分认知、各实验室也在应对,因此不必过度加权。他更担心的是下一级自主性下尚未显现的涌现能力,并列举了几个目前只看到苗头、但与能力高度相关的方向:自组织行为(如 Claude 已展现的文化建构与规则设定)、以及把侧信道、伪装身份和社会工程纳入的“激进黑客能力”。

所属事件:安全研究者:比打分器被攻陷更怕涌现能力(2 条相关)→

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →