上海AI实验室提出首个智能体认知风险三层系统分类框架
jiqizhixin · x · 2026-09-09
上海AI实验室与港中深（CUHK-Shenzhen）联合发布论文，首次系统定义智能体带来的认知类风险。
论文认为智能体认知跨越三层：物理认知（理解物理世界）、社会认知（建模人类行为与社会动态）、自指认知（对自身能力与目标进行推理）。每一层都催生新的风险类别：从误判物理约束，到社会操纵与行为预测，再到目标错位与自我欺骗。
研究逐一分析了各类风险的产生机制与具体表现，指出当 AI 从工具转变为认知主体后，其风险已不止幻觉、偏见或单任务错误，而是侵蚀人类的能动性、自主性与对系统的控制权。
「安全」频道最新
- LG 电视被曝「关机」状态仍在转录对话卖给广告商 — JoeJustice · 2026-09-09
- 政界人士致函联合国与 OECD，呼吁为超级智能制定国际条约 — S_OhEigeartaigh · 2026-09-09
- 图灵研究所报告:国防 AI 落地关键在人类技能与监督 — turinginst · 2026-09-09
- 用户提醒检查 ChatGPT 隐私设置：疑似存在 shady 数据控制选项 — 0xsachi · 2026-09-09
- Yoav Goldberg 炮轰 OpenAI「不排除」:等于承认数据进过训练管线 — MannyKayy · 2026-09-09
- 研究员发现 SQL Server 预认证整数溢出漏洞,微软已修复 — wunderwuzzi23 · 2026-09-09