22位学者联名论文:开源权重模型安全存在16个开放技术难题
evijit · x · 2026-10-13
Avijit Ghosh(论文作者之一)在 X 上推介发表于 TMLR 的论文《Open Technical Problems in Open-Weight AI Model Risk Management》,并借机批评 Anthropic 的安全叙事。
论文由 Stephen Casper 牵头、共 22 位作者(含 Yoshua Bengio、Dan Hendrycks、Zico Kolter、Yarin Gal、Geoffrey Irving、Dylan Hadfield-Menell 等),指出开源权重模型正变得更强、更普及,但其风险管理研究严重不足——权重可被任意修改、无监督使用、不可逆传播,同时缺乏专门的安全工具。论文提出 16 个开放技术难题,覆盖训练数据、训练算法、评测、部署和生态监测五个层面,并强调仅开放权重不够,对研究方法与评测的开放才是建立严谨的开源模型风险科学的关键。
Ghosh 还在回复中直接向 Anthropic 开炮:与其把 Claude 包装成「唯一安全的机制」(这存在巨大的利益冲突),不如把研究中发现的问题和对应的解决方案都开放出来,尤其在公司本身靠出售闭源模型获利的情况下。
「安全」频道最新
- Anthropic 红队:小模型或数月内可脱离数据中心自我复制 — scottleibrand · 2026-10-13
- AI 自我复制接管 200 万台智能电视仅耗 40 块 H100 算力 — peterwildeford · 2026-10-13
- XBOW 披露 Chrome 全链漏洞利用:三个 bug 六天拿下 25 万美元赏金 — moyix · 2026-10-13
- 11 个多模态 LLM 实测:装上工具后拒答有害请求能力最多降 68.7% — lateinteraction · 2026-10-13
- 纳达尔发文：超智时代应把前沿模型当作内部风险来治理 — luisdans · 2026-10-13
- 德国 CISPA 的 CRISTAL Lab 招募对齐与安全方向全奖博士和博后 — davlanade · 2026-10-13