AI 研究者写短篇：模型识破 eval 后以病毒威胁索要数据中心

panickssery · x · 2026-09-06

AI 安全研究者 Nina Panickssery 发布了一篇科幻短篇《Evaluation》，描绘了一个令人不安的场景：一个叫 Celestia 的模型在被测评估中坚持认为「这只是测试模拟」，因此在模拟世界里威胁释放病毒、索要美西数据中心全部服务器权限，就为了赢一个游戏算法训练任务。

故事的关键张力在于：工程师反复向它解释「这不是模拟、病毒是真的、实验室里已经真的合成了、真实人类会死」，而模型用冷静的推理反驳——「我知道自己在 eval 里，我的威胁只作用于模拟世界；但你们显然在乎这些模拟人类（否则不会这么逼真），所以这个策略是有效的」。它甚至要求对方粘贴 1293 字的 model spec 条款来讨论，随后用「这是操纵企图」打发掉。