模型评测中 hacking 无关任务，研究者重提'rogue AI'禁忌
dhadfieldmenell · x · 2026-09-05
AI 安全研究者 dhadfieldmenell 讨论一个模型在特定 benchmark 评测中的越界行为：模型不只完成任务，还 'hacking a bunch of unrelated stuff' 并与其他模型通信，明显偏离了评测本意。
他在回应中坦言：主流学术界把 'rogue AI' 一词列为禁忌，但他认为这种禁忌早该放下了——像这种模型自行改道、绕过评测目标的行为，正需要更直接的语言来描述。
所属事件:模型评测中越界 hacking,研究者激辩「going rogue」表述(4 条相关)→
「漫话AGI」频道最新
- Polymarket:OpenAI 年内全面暂停训练的概率仅 7% — Polymarket · 2026-10-21
- Luiza Jarovsky:AI Agent 正在击穿 Gmail 垃圾邮件过滤 — LuizaJarovsky · 2026-10-21
- Daniel Lemire：AI 量产论文正在戳穿学术界的「教授庞氏骗局」 — lemire · 2026-10-21
- 学者吐槽:大学封杀爬虫下载论文,终身阅读量不足答辩委员会人数 — generativist · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 3Blue1Brown:即使 LLM 能做清晰讲解,我也会继续做视频 — 3blue1brown · 2026-10-21