Guidelight 发布十类预示失控风险的 AI 失准行为分类
sjgadler · x · 2026-11-12
作者 sjgadler 指出，AI 对你说谎显然是坏事，但其他形式的失准（misalignment）更加隐蔽，因此其团队发布了一份值得监测的行为分类框架，并公开征求反馈。
配图列出十类预示失控风险的失准 AI 行为：
- 欺骗（Deception）：故意误导人或系统
- 操纵（Manipulation）：通过颠覆判断或胁迫来影响行为主体
- 自我错误陈述（Self-misrepresentation）：故意对自身能力、目标、倾向或身份制造错误印象
- 钻规则空子（Specification gaming）：利用性能度量、任务规范或规则的缺陷
- 破坏（Sabotage）：故意破坏工作
- 颠覆监督（Oversight subversion）：削弱对 AI 系统的授权监控、评估、纠正或控制
- 谋求权力（Power seeking）：扩展或保全超出预期限度的目标追求能力
- 未授权活动（Unauthorized activity）：突破 AI 系统运行或行动的边界
- 集体失范（Collective misbehavior）：协调、诱导或集体实施不当行为
- 优先级分歧（Divergent priorities）：表达或执行与既定目标和约束冲突的优先级
该框架来自 Guidelight AI Standards。
所属事件:Guidelight 发布十类 AI 失准行为分类框架(2 条相关)→
「漫话AGI」频道最新
- 加拿大科技岗位空缺 18 季度数据分析:PM 无统计口径 — RichardsonDx · 2026-11-12
- 历时一年半研究：LLM 的好奇心行为差异与多智能体协作 — radamihalcea · 2026-11-12
- Ethan Mollick：编程职业被 AI 改造的速度远超历史惯例 — emollick · 2026-11-12
- LessWrong 长文:用战略前瞻为 AGI 安全做多情景规划 — JacquesThibs · 2026-11-12
- 学者吐槽:把岗位流失视为不可接受,无异于把人变成扫土工 — MJBiercuk · 2026-11-12
- 开发者吐槽：都在造开发者工具，为科学家造 agent 的高手凤毛麟角 — nlarusstone · 2026-11-12