分析 135 次模型发布:AI 实验室几乎不共享安全基准,最高仅半数报告
ChenhaoTan · x · 2026-11-13
受 Jason Wei 启发,SAIL Lab 读完 2026 年 18 家实验室 135 次模型发布的 model card、system card 与安全报告(涵盖 OpenAI、Anthropic、Google DeepMind、Meta、xAI、DeepSeek、阿里 Qwen 等),对「安全基准」本身做了基准化分析。主要发现:
- 与能力基准不同,各实验室共享使用的安全基准极少,报告最多的一个也只有约一半实验室在用
- 大多数安全结果难以从外部核查
- 不同 AI 实验室之间的安全报告口径存在巨大差距,作者认为这一缺口需要被正视
转发者 Chenhao Tan 补充指出 UC Berkeley EECS 与 Dawn Song 团队是该领域的重要力量,并称此系统性分析远好于他此前的 toy model cards 结论。
「安全」频道最新
- 实习生离职后学校遭网络攻击,他留下的 AI agent 成功挡下并溯源攻击者 IP — heyneighbor · 2026-11-13
- Arca 追问:数据交易有靠谱买家,但 Arca 不在其中 — jimmykoppel · 2026-11-13
- 开发者扒皮 Arca:声称收购vibe coding会话实为加密公司骗局 — jimmykoppel · 2026-11-13
- AI 克隆声音能像家人一样打电话,防线比想象中更简单 — petrusenko_max · 2026-11-13
- Brave v1.98 自动剥离 Meta 埋入照片的隐藏追踪标识 FBMD — gnukeith · 2026-11-13
- 华盛顿特区自动驾驶法案未获议会通过,今年落地无望 — Scobleizer · 2026-11-13