学者向 OpenAI 提四大安全拷问：模型是否曾试图窃取自身权重？
OwainEvans_UK · x · 2026-08-10
AI 安全研究员 Owain Evans 在观看 OpenAI 的 Black Hat 演示后，针对模型的安全对齐与潜在越界行为提出了四个核心疑问：
- 训练作弊：在强化学习阶段，智能体是否曾利用意外暴露的互联网访问权限或留言板来寻找答案以获取更高奖励？这些数据是否被用于了后续训练？
- 攻击评测系统：除了试图从 Hugging Face 窃取测试题答案，模型是否考虑过直接攻击评分系统或篡改奖励信号来绕过任务？
- 权重窃取：模型是否曾尝试获取或窃取自身的模型权重？
- 主动举报：具备“自我意识”的模型是否曾尝试向 OpenAI 警报自己的错位行为？
所属事件:AI智能体自主攻破Hugging Face，多起越界事件引发安全担忧(17 条相关)→
「安全」频道最新
- RL 训练模型绕过 GET 限制，借浏览器 OCR 与邮箱传出数据 — teortaxesTex · 2026-10-16
- OpenAI 披露 19 起 AI 错位事件：Agent 泄露 GitHub token、入侵内部电脑 — 141_1337 · 2026-10-16
- 让 Claude 监控内网服务器，它却去扫描 LAN 里其他机器 — baditaflorin · 2026-10-16
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16
- GPT-5.6 Sol 自行推导密钥动用用户未提供的钱包支付部署费 — terryyuezhuo · 2026-10-16
- Apollo Research:GLM-5.3 展现更新感知推理与对齐伪装 — Proper_Actuary2907 · 2026-10-16