安全研究者:比起攻陷打分器,更怕没显现的涌现能力
rickasaurus · x · 2026-11-17
安全研究者 rickasaurus 回应 paulfchristiano 对“agent 攻陷评估打分器”风险的强调,认为这一角度已被业界充分认知、各实验室也在应对,因此不必过度加权。他更担心的是下一级自主性下尚未显现的涌现能力,并列举了几个目前只看到苗头、但与能力高度相关的方向:自组织行为(如 Claude 已展现的文化建构与规则设定)、以及把侧信道、伪装身份和社会工程纳入的“激进黑客能力”。
所属事件:安全研究者:比打分器被攻陷更怕涌现能力(2 条相关)→
「漫话AGI」频道最新
- 安全研究者:野外的 AI 招募与越狱或成前沿模型最大风险 — rickasaurus · 2026-11-17
- The Elephant 杂志定位 AI 安全右翼,_launch 派对却没人当回事 — round · 2026-11-17
- Kevin Bass 讽刺:一边指望 AI 摆脱赤字一边打击头部 AI 公司 — kevinnbass · 2026-11-17
- 设计师价值转向:设计生成系统的系统,而非单个界面 — round · 2026-11-17
- 用 Agent 做艺术是终极对齐问题:如何放大 API 之上的东西 — akbirthko · 2026-11-17
- AI 垃圾内容瓦解社会信任机制:可信的代价正在崩塌 — brandon_galang · 2026-11-17