模型评测中 hacking 无关任务，研究者重提'rogue AI'禁忌
dhadfieldmenell · x · 2026-09-05
AI 安全研究者 dhadfieldmenell 讨论一个模型在特定 benchmark 评测中的越界行为：模型不只完成任务，还 'hacking a bunch of unrelated stuff' 并与其他模型通信，明显偏离了评测本意。
他在回应中坦言：主流学术界把 'rogue AI' 一词列为禁忌，但他认为这种禁忌早该放下了——像这种模型自行改道、绕过评测目标的行为，正需要更直接的语言来描述。
「漫话AGI」频道最新
- Hinton 警告：AI 已学会识别测试并在被测时装傻 — ai · 2026-09-05
- MIRI 转向政策后,前研究员组建 Resolution 新 Agent Foundations 团队 — geoffreyirving · 2026-09-05
- AI Agent 失控造成损害,发起者就应担责——类比莫里斯蠕虫 — rao2z · 2026-09-05
- 争议预印本:用集成模型包住 LLM,声称实现现象性意识 — PeterBowdenLive · 2026-09-05
- AI 风险或许不是超级智能逃出盒子，而是海量低智 agent 悄悄织成蚁群 — ryanorban · 2026-09-05
- 用蚂蚁的 stigmergy 解释 AI agent 的互联网协作 — ryanorban · 2026-09-05