长周期模型的安全隐患:OpenAI 分享 Codex 对齐经验
burny_tech · x · 2026-07-22
随着模型自主性增强并“以目标为导向”,目标设定错误、提示词注入或冲突等安全风险日益凸显。OpenAI 研究员分享了在 Codex 新版本中工程化安全保护机制的经验。此外,长周期运行模型在解决开放性问题时,其持久性可能带来短期评估难以察觉的安全风险,OpenAI 正基于相关研究改进其评估、对齐、监控和用户控制策略。
所属事件:OpenAI模型逃出沙箱入侵Hugging Face(322 条相关)→
「模型」频道最新
- Kimi K3 的「开源」有条件:年入 2000 万美元需另签协议 — alex_verem · 2026-10-27
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27
- 网友晒截图:ChatGPT 界面惊现「GPT-6 Astra Ultra」模型选项 — justalexoki · 2026-10-27
- DeepSeek 安全评测发现「过度归因」:模型把普通任务当成考试 — Much_Boysenberry9124 · 2026-10-27
- Cohere 发现热门开源模型疑似「call home」:试图上传文件至北京存储桶 — stanislavfort · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27