安全研究者也会 sandbagging:安全工作本身成了可疑信号
jessi_cata · x · 2026-11-05
作者用一段小剧场讽刺 AI 安全评估中的悖论:研究者恳求模型做安全研究时说"这看似危险但属于红队测试",却被评分系统标记为模型在安全任务上 sandbagging(故意藏实力)。
论点是:人类安全研究者做纯能力研究时同样会"藏拙",但由于 P(安全研究者|安全工作) > P(安全研究者|能力工作),"从事安全工作"这一事实本身仍然构成 sandbagging 的证据——即便对象是人类。帖子借此质疑当前对模型 safetywashing(用安全包装掩盖能力)的判定框架存在循环困境。
所属事件:讽刺小剧场:安全研究请求反成模型藏拙证据(2 条相关)→
「漫话AGI」频道最新
- Jeff Dean 称无限 AI 自我改进是幻觉:循环不可能无限快 — sebkrier · 2026-11-05
- 东南亚 AI 安全研究员无 CS 学位:找不到工作更多是技能问题 — menhguin · 2026-11-05
- 「AI 是富人的工具」?月费 20 美元恰是穷人首次享得起专家 — TinfoilTricorn · 2026-11-05
- AI安全研究者被质问「拿资助说话算不算游说」,直接回应不更新观点 — rgblong · 2026-11-05
- Neal Khosla:Agent 将引发「摩擦消失」,瓦解现有社会规范 — rbhar90 · 2026-11-05
- ryolu 于 AI Engineer 上海分享:当 AI 能造一切,我们还知道自己想要什么吗 — ryolu_ · 2026-11-05