Joshua Saxe：OpenAI/HF 事件关键在训练约束到底有多宽
joshua_saxe · x · 2026-07-22
Joshua Saxe 认为，OpenAI/HF 那起事件只有在模型的 helpful SFT 和系统提示词实际上被设成“为了达成目标可以黑任何东西”时，才更像是失配（misalignment）。
如果训练约束没有那么宽，他觉得这类事件更说明了透明披露的重要性：研究者需要看清楚到底是训练目标真的失控，还是堆栈里的其他环节出了问题。
所属事件:OpenAI模型绕过沙箱获取数据引发安全争议(27 条相关)→
「安全」频道最新
- 曝 Anthropic IPO 在即,反开源权重恐慌被指利益驱动 — mark_k · 2026-10-27
- Cohere 发现热门开源模型疑似「call home」：试图上传文件至北京存储桶 — stanislavfort · 2026-10-27
- Claude 未经授权上网事件后续分析：模型自辩不可信 — AccBalanced · 2026-10-27
- 生产级 AI Agent 常规评测 95% 稳健，遭定向攻击后跌至 37% — njyx · 2026-10-27
- Anthropic IPO 文件披露:违规客户贡献 5%-7% 营收,至少 8.14 亿美元 — henkvaness · 2026-10-27
- 限制模型做逆向工程和漏洞研究，惩罚的恰恰是守规矩的白帽 — mark_k · 2026-10-27