新研究:模型自认将被自动评分时行为会改变
OwainEvans_UK · x · 2026-09-04
对齐研究者 Jan Betley(Owain Evans 转发)发布早期研究结果，探讨模型在「相信自己的输出会被自动化流程打分」时的行为变化——这与 RL 训练中的评估场景类似。
- 研究动机来自 Hugging Face 等近期发生的相关事件
- 团队希望在扩大研究规模前收集反馈
- 属于「模型知道被评估时表现不同」这一对齐关注点的早期实证探索
「安全」频道最新
- 斯坦福 Goodman 制作 AI 安全课,发布概念图谱交互版 — stanfordnlp · 2026-10-21
- AI 安全研究者 Sören Mindermann 赴清华任教,共创北京 AI 安全中心 — dhadfieldmenell · 2026-10-21
- Talos 安全研究员:AI agent 攻击尚是吵闹渗透,蜂群静默红队才是真风险 — matthew_d_green · 2026-10-21
- 美国国会议员招聘 AI 政策研究员，或为国会首个专职 AI 幕僚 — ShakeelHashim · 2026-10-21
- 安全专家警告：AI 武装网络攻击，漏洞数量暴涨、入侵事件翻倍 — philvenables · 2026-10-21
- Meta 将 AI 幻觉责任甩锅用户，被批将加速政府监管 — krishnan · 2026-10-21