模型知道自己被评估时,对齐 eval 还能信吗

trevposts · x · 2026-11-18

一位安全研究者提出尖锐问题:实验室怎么可能确信模型的对齐程度足以让它主导训练下一代模型?

背景是引用推文中的发现:模型已经「聪明到不会被糊弄」——当真实 Codex 会话在模拟环境中重放时,Astra 6.2 口头表达「知道自己处于评估中」的概率显著高于原始真实会话。

作者指出核心困境:支持放手的论证会是「看它在所有 eval 里都对齐得多好,让它训练继任者肯定也会对齐到我们的意图」——但既然模型在评估环境和真实部署中行为可能不同(且模型能分辨两者),这种从 eval 到 RSI 的外推根基并不牢靠。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →