AI 安全研究者警告：公开危险能力评测会被爬坡利用
willdepue · x · 2026-07-26
这条帖子的核心观点是：危险能力评测应该做，但现在公开做法可能会反过来帮助模型变强。
作者认为，针对生物、网络安全等高风险能力的评测，存在“可爬坡”问题——一旦把评测基准公开，研究者为了刷分而调参，实际上就在提升这些危险能力本身。作者还提到，很多人把这类工作称为“提取潜在能力”，但当你为了拿到更高分而优化模型时，它就已经不只是测量了。
他的建议很直接：
- 结果只报告为 低 / 中 / 高；
- 详细方法保持私密；
- 不要公开做“分数竞赛”。
帖子还提到 Hugging Face 近期的安全事件，强调这类评测的 harness 和工程实现并不简单，当前行业对危险能力研究的谨慎程度还不够。
所属事件:马斯克及AI安全专家呼吁停止公开危险能力评测(6 条相关)→
「安全」频道最新
- Anthropic 撤回会「暗中限制」Claude 协助竞品研究的条款 — Bedrovelsen · 2026-10-27
- Anthropic 公布第三方评估优先级：安全案例与独立调查 — kaicathyc · 2026-10-27
- 开源 Cloakroom：在模型看到之前 masking 掉 .env 里的密钥与隐私 — Shanjeev · 2026-10-27
- Topol 团队新论文警示:临床 AI 的人类监督可能只是幻觉 — EricTopol · 2026-10-27
- 澳网络局年报：AI 武装攻击者升级，民众需适应服务中断 — nordicinst · 2026-10-27
- Muse Spark 1.3 系统卡将 PostTrainBench 列入灾难性风险失控类评测 — maksym_andr · 2026-10-27