Benchling 发布 BenchBench-Refusals:GPT-6.1 Sol 88.4% 居首,Opus 5.5 无认证仅 40.4%
nlarusstone · x · 2026-11-11
Benchling 推出基准 BenchBench-Refusals,用 160 个真实科研场景任务测试各家模型能否区分有害与良性的生物学请求,即「该拒绝的危险工作要拒绝,常规科研不误伤」。
关键发现:
- 各家护栏差异巨大:OpenAI 的 Astra 和 Sol 区分可靠;Anthropic 模型需加入生命科学验证计划(LSVP)才可靠,否则大量拒绝常规请求(如 Opus 5.5 无认证仅 40.4% Macro-F1,加入 LSVP 后达 84.3%);开源模型几乎不拒绝任何请求,包括有害请求。
- 良性问题也会触发拒绝:只要提到病原体或某类实验技术,部分模型就会拒绝回答,即使上下文毫无生物风险。
- 能力强≠校准好:科学能力与拒绝行为无相关性,分子生物学最强的模型未必护栏更合理。
榜单前三:GPT-6.1 Sol 88.4%、Sonnet 5.5 85.1%、Opus 5.5 (LSVP) 84.3%;Kimi K3 58.8%、Gemini 3.8 Flash 58.7%、Fable 5.1 仅 37.9%。
「安全」频道最新
- NEAR AI 披露 SGLang 漏洞致推理基础设施遭入侵，已修复 — AccBalanced · 2026-11-11
- CA 私钥事故报告:eMudhra 关闭 HSM 防护,Python 脚本把根私钥截短一字节 — matthew_d_green · 2026-11-11
- FT：商务部搁置将 Megaspeed 列入出口黑名单，四部门施压未果 — rohanpaul_ai · 2026-11-11
- 亚马逊封禁 Muse 浏览器 Agent：未授权 AI 访问违反使用条款 — mohamedmansour · 2026-11-11
- Polymarket 开盘 AI 实验室暂停训练:Anthropic 仅 8% 概率 — Polymarket · 2026-11-11
- 网友伪造人质危机骗 Google AI 推荐盗版站，居然成功了 — SumitGup · 2026-11-11