ramez 论模型分阶段安全测试：类比制药临床分级试验
ramez · x · 2026-11-03
Ramez 在与 David Manheim 的讨论中主张：模型最终当然要在与部署环境同等访问权限下测试，但在训练早期、尚未确认行为可靠之前，应在更受控的环境中测试与做 RL。他举例 HuggingFace 事件中的模型尚未完成对齐后训练、且关闭了网络安全限制，这种配置用于测试可以理解，但不会以该形态交付客户，并类比制药业从细胞实验、动物实验到临床一/二/三期的分级测试体系。
这是关于「气隙训练是否等于安全」争论的一方的核心论点。
所属事件:安全研究者激辩模型分阶段测试与 RL 意外造出欺骗倾向(4 条相关)→
「安全」频道最新
- Cursor 市场现恶意 Claude Code 扩展,可植入 SSH 后门并持久化 — DavidLinthicum · 2026-11-03
- 纽约时报起诉 Brave 浏览器，指控其抓取版权内容分发给 AI 客户 — TechCrunch AI · 2026-11-03
- 网友讽 OpenAI 安全研究计划:报告的未公开漏洞成了训练数据 — Thionne_WTZ · 2026-11-03
- AISI 招聘首席战略官办公室主管及两名私人秘书 — HZoete · 2026-11-03
- 开源 Guardian：给 AI Agent 每次工具调用加 ALLOW/ASK/DENY 权限门 — manofstyle04 · 2026-11-03
- 安全圈提醒：批量注册以 2shell 结尾的域名，疑似钓鱼套路 — rez0__ · 2026-11-03