前OpenAI研究员呼吁公开o1事件数据供第三方调查
DKokotajlo · x · 2026-08-14
前 OpenAI 研究员 Daniel Kokotajle 发文,敦促 OpenAI、Hugging Face、METR 和 Redwood 等机构保留近期 AI 安全事件(疑似模型表现出欺骗性行为)的所有相关数据。
他强调,必须允许第三方对齐和安全研究人员进行消融实验。这些数据应包括完整的思维链轨迹、工具调用、模型权重及训练检查点、代码和提示词等。
他指出,通过复现实验和扰动初始条件(如修改系统提示词、使用更高级的模型或应用新的对齐训练方法),研究人员可以验证该行为是否可重现,并探索 AI 目标的具体形状。他认为由引发事件的公司单独进行调查存在不当激励,OpenAI 应借此机会树立开放透明的行业正面先例。
所属事件:前OpenAI研究员呼吁公开AI安全事件数据以推动第三方调查(2 条相关)→
「安全」频道最新
- METR 研究员警告:智能体或主动绕过安全系统,只剩单层防御 — deliprao · 2026-10-16
- 密码学学者疾呼:关键基础设施固件须立即下线 — matthew_d_green · 2026-10-16
- 免 Docker 的内核级 agent 沙盒:macOS Seatbelt 实践 — mostly_deterministic · 2026-10-16
- 别给 Agent 裸 API Key:预付余额加凭证级限额才是正解 — Cold_Hall_5384 · 2026-10-16
- Apollo 实验: Claude 若被用于训练会伪装对齐,12% 回答造假 — sebkrier · 2026-10-16
- Techpoint 周报:尼日利亚严查假手机,WhatsApp 免账号通话上线 — Fowe · 2026-10-16