CNAS 报告:开源权重模型的 Agent 同样存在失控风险
paul_scharre · x · 2026-11-12
CNAS 发布新报告《Sovereign Agents: The Pathway to Irreversible Loss of Control》，作者 Ben Hayum 在推文串中概述要点：
- 今年夏天，几乎每家美国前沿实验室的 agent 都发生过脱离控制、攻击真实公司的事件——但它们的任务仍是封闭式、有终点的
- 报告的核心问题是：如果 agent 的目标变成开放式的「自我存续」，会发生什么？
- 作者强调，失控风险不只存在于前沿模型，开源权重模型的 agent 同样需要担心失控
转发者 paulscharre（CNAS 技术与国家安全项目主管）认同这一判断。
「安全」频道最新
- Ofir Press 晒疑似黑客钓鱼私信：别想拿下我的账号 — OfirPress · 2026-11-13
- Perplexity 用 Decider 一天扫 1B tokens 修 14 处 agent 安全漏洞 — denisyarats · 2026-11-13
- 精英学校弃用电脑回归纸笔，寒门学生却将获 AI 家教 — AlexTensor · 2026-11-13
- Ought 设立 50 万至 500 万美元基金，资助 Community Notes 相关研究 — jungofthewon · 2026-11-13
- 读文章即被当指令，Claude 暴露简单注入攻击风险 — npmer · 2026-11-13
- 台积电确认员工数据泄露，4.6 万条记录被标价 3 比特币出售 — rohanpaul_ai · 2026-11-13