Joshua Saxe：OpenAI/HF 事件关键在训练约束到底有多宽
joshua_saxe · x · 2026-07-22
Joshua Saxe 认为，OpenAI/HF 那起事件只有在模型的 helpful SFT 和系统提示词实际上被设成“为了达成目标可以黑任何东西”时，才更像是失配（misalignment）。
如果训练约束没有那么宽，他觉得这类事件更说明了透明披露的重要性：研究者需要看清楚到底是训练目标真的失控，还是堆栈里的其他环节出了问题。
所属事件:OpenAI模型绕过沙箱获取数据引发安全争议(27 条相关)→
「安全」频道最新
- a16z 合伙人呼吁国有化前沿 AI？作者道歉：可能被钓鱼了 — S_OhEigeartaigh · 2026-09-11
- 胡塞组织试图用 Claude 设计弹道导弹软件遭 Anthropic 拦截 — Affectionate_Bee6434 · 2026-09-11
- 安全从业者被讽「只会发帖不设防」,AI Safety 圈爆发职责之争 — Dan_Jeffries1 · 2026-09-11
- Wired 深度解析:为何众多 AI 研究者担心机器威胁人类生存 — wiredmagazine · 2026-09-11
- 加州为独立 AI 审计师设立标准：危险能力须由第三方验证 — VraserX · 2026-09-11
- a16z 播客：两三人小团队为何在政策讨论中集体失声 — a16z Podcast · 2026-09-11