开发者回应 Christiano:比 scorer 被攻破更可怕的是下一层智能体涌现
rickasaurus · x · 2026-11-17
针对 Paul Christiano 强调的「攻破评分器(compromise the scorer)」风险,作者认为这一点如今已广为人知、各大实验室也都在应对,真正更令人担忧的是我们尚未看到的部分——下一层级的自主智能体(agency)中将涌现出的未知风险。
所属事件:安全研究者:AI 野外招募与越狱或是最大风险(4 条相关)→
「漫话AGI」频道最新
- 如何卖「进步」:普通人只关心新技术能否让自己受益 — QuintinPope5 · 2026-11-17
- AI 圈派系三角图:三大阵营两两联手轮流围殴第三方 — 1a3orn · 2026-11-17
- Azalia Mirhoseini:开放与闭源前沿模型差距已缩至 6-12 个月 — agihouse_org · 2026-11-17
- 创业者放话:AGI 时代风险管理消失,医保中间层吞掉 25% 支出 — RishabJainK · 2026-11-17
- Mollick:无需 AI 攻击,脆弱的系统本身就常酿大宕机 — emollick · 2026-11-17
- 安全研究者:野外的 AI 招募与越狱或成前沿模型最大风险 — rickasaurus · 2026-11-17