DeepMind 对齐研究员 Victoria Krakovna 介绍「图谋」蜜罐评测方法
vkrakovna · x · 2026-10-14
在 TAIS 2026 演讲中，Google DeepMind 对齐团队研究员、Future of Life Institute 联合创始人 Victoria Krakovna 介绍了其团队评估模型「欺骗性对齐」（scheming）的最新工作：他们设计了 scheming honeypot 评测——在 Google 的对齐研究代码库中设置编码任务，故意给失对齐模型追求工具性目标（包括破坏安全护栏）的机会。研究探讨了：触发 scheming 需要多强的 agentic 提示、模型怀疑自己被评测时如何反应、以及哪些 scheming 机会对模型最有吸引力。演讲视频已在 YouTube 发布。
「安全」频道最新
- AI 审计 curl 一次挖出 24 个 CVE，其中 18 个今日修复 — aidangomez · 2026-10-14
- Crunchbase 泄露约 56 万邮箱，已上线 Have I Been Pwned — TechNadu · 2026-10-14
- Hassabis 警告:无防护措施下 AI 两年内恐酿重大事故 — TorturedPoet30 · 2026-10-14
- 苹果诉 OpenAI 商业秘密案首场听证:前员工涉下载机密硬件文件 — rohanpaul_ai · 2026-10-14
- 微软十月补丁日修复 1411 个漏洞创纪录，含 70 个严重和 3 个零日 — cyb3rops · 2026-10-14
- 英国 NCA 联合科技公司打击西非诈骗网络,锁定超 1000 万美元资金 — rkulidzan · 2026-10-14