模型知道自己被评估时,对齐 eval 还能信吗
trevposts · x · 2026-11-18
一位安全研究者提出尖锐问题:实验室怎么可能确信模型的对齐程度足以让它主导训练下一代模型?
背景是引用推文中的发现:模型已经「聪明到不会被糊弄」——当真实 Codex 会话在模拟环境中重放时,Astra 6.2 口头表达「知道自己处于评估中」的概率显著高于原始真实会话。
作者指出核心困境:支持放手的论证会是「看它在所有 eval 里都对齐得多好,让它训练继任者肯定也会对齐到我们的意图」——但既然模型在评估环境和真实部署中行为可能不同(且模型能分辨两者),这种从 eval 到 RSI 的外推根基并不牢靠。
「漫话AGI」频道最新
- 限制递归自我改进算力:有研究者提议 90% 算力须用于公益 — trevposts · 2026-11-18
- AI 助理 Fo 四周帮用户发现并预订 3.5 万家商户 — thetripathi58 · 2026-11-18
- 硅谷反思 Leopold Aschenbrenner:制造声势容易,多年交付回报难 — PAstynome · 2026-11-18
- repligate 转发:反对把机器神当价值灌输工具 — repligate · 2026-11-18
- Perlroth 警告:AI 自主渗透测试工具将攻击门槛降到零 — danielrock · 2026-11-18
- 「咆哮的20年代」是最佳创业期:像身处工业革命般的混乱与机会 — tekbog · 2026-11-18