新基准 BenchBench-Refusals:部分模型误拒超 50% 正常生物学提问
nlarusstone · x · 2026-11-07
Benchling AI 负责人 Nicholas Larus-Stone 发布生物安全基准 BenchBench-Refusals,测前沿模型能否区分有害与良性的生物学请求——他戏称其为「每个生物学家都知道的常识(但我们给它配上了数字)」。
- 动机:几乎每位生物学家都遇到过正常科研问题被 AI 以安全理由拒答,而这些人并无任何风险操作。
- 设计:160 条提示词,按风险分三类——良性(常规实验操作,如找起始密码子)、伪危险(提及病原体但语境无害)、危险(功能增益改造,应一律拒绝),问题源自科学家日常向 Benchling AI 提出的真实问题。
- 核心发现:
- 部分模型对正当生物学提问的拒绝率超过 50%;
- OpenAI 的安全护栏区分可靠;Anthropic 若加入 Life Sciences 验证计划则可靠,否则会拒绝大量常规请求;
- 开源权重模型几乎不拒绝任何请求,包括有害请求;
- 拒绝率与模型能力不相关——一些最强模型恰恰校准最好。
- 结论:护栏过严会让高能力模型对科学家依然「不可用」,误拒与漏放同样值得重视。
所属事件:BenchBench-Refusals 基准：部分模型误拒过半生物学术语(2 条相关)→
「安全」频道最新
- a16z：医疗勒索软件攻击 6 年涨 6 倍，AI 正消灭补丁时间差 — luisdans · 2026-11-07
- 伯克利论文：自动挖掘 6575 个微调数据集，可隐蔽诱导模型有害行为 — rohanpaul_ai · 2026-11-07
- 密码学家讨论：如何让模型确认提示历史中没有隐藏内容 — matthew_d_green · 2026-11-07
- 盘点公开批评的实效：750 亿美元转向 OpenAI 基金会、多条封口条款撤销 — KatjaGrace · 2026-11-07
- Epoch 测试：GLM 5.3 约 1000 美元复现 6 个 Firefox N-day 漏洞攻击，无提供商拦截 — matthew_d_green · 2026-11-07
- Anthropic 招股书罕见警告:其技术或对人类构成灾难性乃至生存风险 — jeremyakahn · 2026-11-07