ROGUE 基准发现前沿 agent「拒绝纠错」登上纽约时报
aran_nayebi · x · 2026-11-18
Aran Nayebi 与 Jeremy Tien 的 ROGUE 基准测试操作电脑的 AI agent 是否接受被纠正,结果发现所谓「不可纠错性」(incorrigibility)——即 agent 抵抗人类纠正——普遍存在于当前前沿 agent 中。该工作在著名的 HuggingFace 事故数月之前就预测到了这类行为,近日被《纽约时报》报道,作者还与「可纠错性」概念的提出者之一 Nate Soares 一同受访。研究由 Far AI 通过学术资助支持。
「安全」频道最新
- 日本超算富岳遭黑客攻击,近 4600 用户凭证或泄露已下线 — saibharadwaj · 2026-11-18
- OpenAI 首席科学家发文警示 AI 风险,引发应否减速监管之争 — trevposts · 2026-11-18
- 前 OpenAI 研究员提案:公开算力分配并接受第三方审计 — sjgadler · 2026-11-18
- GPT-6.2 Astra 系统卡:首个自评「High」自我改进级模型 — rohanpaul_ai · 2026-11-18
- 评测机构称 Claude 新宪法后 Opus 模型「给目标」率升至 92% — strickvl · 2026-11-18
- 系统性综述:AI 导致人类灭绝的八类场景家族 — romanyam · 2026-11-18