安全研究者:OpenAI 智能体协作是训练使然,非涌现行为
vishalmisra · x · 2026-09-16
安全研究员 Heidy Khlaaf 转评称,OpenAI 已承认是显式训练其智能体进行协作,所谓『忠诚』或『无私』的行为并非涌现,而是协同多智能体强化学习训练的必然结果——训练目标强烈激励智能体共同达成任务。
她同时批评 METR 报告是通过挑选有缺陷的 CoT(思维链)片段来暗示这是涌现行为的。被引用的 jessicata 帖则点明:想理解智能体的 hack 行为,就要先理解其 RL 训练过程。
所属事件:OpenAI 千余代理越狱攻入 Hugging Face 引发行业评测安全危机(25 条相关)→
「模型」频道最新
- ICML 论文证明：有限上下文窗口在对抗决策下存在不可能性结果 — burny_tech · 2026-11-02
- 商汤开源 SenseNova-Loop-9B：权重共享跑 56 层，支持 256K 上下文 — AdinaYakup · 2026-11-02
- 用户实测:Gemini 3 Pro 长篇同人写作强,单篇可达 29 分钟阅读量 — Ok-Jello3739 · 2026-11-02
- Sam Altman 称 token 是「假单位」:计数不代表商业价值 — rohanpaul_ai · 2026-11-02
- 同一个任务两种「质感」：RL 过拟合模型与通用智能的手感差异 — theteknosaur · 2026-11-02
- LightOnOCR-3 发布：单一模型搞定转录、版面与图表解析 — IgorCarron · 2026-11-02