AI 安全讨论:应对自动化 AI 研发的对抗性欺骗评估构想

dfrsrchtwts · x · 2026-11-08

dfrsrchtwts 在与 Charlie Bullock、Neil Chilson 的讨论中提出一个安全监管构想:要求 AI 实验室运行对抗性评估,检验其模型能否「欺骗」研发团队——即自动化 AI R&D 是否可能在无人察觉的情况下,刻意造出具有特定倾向或能力画像的模型。

他同时承认目前尚不清楚如何把这类评估做好。在后续讨论中还提出两种监管路径的取舍:要么允许人们对其 AI 全自动研发按「y」放行,要么规定「x% 推理算力必须用于服务真实客户」——后者可能不受市场派人士欢迎,他也自认这种规则未必能设计得当。