JFPuget 警告：没有不保留条款，私有 benchmark 可能进入训练集
JFPuget · x · 2026-07-23
JFPuget 认为，如果没有严格的“不保留数据”合同，私有 benchmark 其实并不私有。
- 核心担忧是：用户提交的提示词和 benchmark 输入，可能在第一次运行后就被模型提供方保留。
- 帖子举了 ARC-AGI-1 的例子：OpenAI 曾承认用测试数据训练了早期版本的 o3。
- 这意味着，即便评测设计上是“私有”的，数据也可能在实际流程中被泄露或复用。
- 作者的结论是：如果没有硬性的、可执行的“不保留”条款，私有 benchmark 可能最终还是会变成训练数据。
「安全」频道最新
- 被引帖子主张阻止 LLaMA 2 发布以放缓扩散 — 1a3orn · 2026-07-23
- AIRA 草案拟只管前沿模型，并要求更强信息安全 — 1a3orn · 2026-07-23
- 美国议员拟立法授权 DHS 关停或限流 AI 系统 — The Verge AI · 2026-07-23
- HOL Guard 为 MCP 服务器和 Agent 工具调用加本地防护 — kantorcodes1 · 2026-07-23
- Aidan Clark 支持给外部模型做安全加固的合作，但不想公开方法 — _aidan_clark_ · 2026-07-23
- 研究员披露 ChatGPT Workspace Agents 一键劫持漏洞，OpenAI 4 天修复 — rez0__ · 2026-07-23