新基准 BenchBench-Refusals：部分模型误拒超 50% 正常生物学术语
nlarusstone · x · 2026-11-07
Benchling 团队发布生物安全拒绝行为基准 BenchBench-Refusals，作者戏称其为「每个生物学家都知道的常识」，首次给这一现象量化。
核心发现：
- 部分模型对正当的生物学查询拒绝率超过 50%，误伤大量合法学术问题
- 拒绝率与模型能力不相关——一些最强的模型反而校准最好，既能该答就答、又能在该拒时拒绝（图中右上角区域）
- 图表将模型分为四象限：广泛拒绝、选择性拒绝、错位拒绝、有限拒绝；部分小模型则几乎来者不拒
这说明生物安全护栏的设计质量更多取决于训练时的对齐策略，而非模型整体智能水平。
所属事件:BenchBench-Refusals 基准：部分模型误拒过半生物学术语(2 条相关)→
「研究」频道最新
- CompressionBench:让编码 Agent 自主压缩 LLM,36 次提交 29 次通过验证 — BeidiChen · 2026-11-07
- SwarmEvolve：潜空间Agent集群进化搜索，8B模型跑赢AlphaEvolve — brownu · 2026-11-07
- METR 数据推算:AI 任务时长每 2 个月翻倍,Model 4 达 240 小时 — scaling01 · 2026-11-07
- EuroSafeGuard 开源宪法分类器护栏，越狱检出率超 16 个开源护栏 — ZhijingJin · 2026-11-07
- 个性化癌症疫苗开源工具 OpenVax 改版,OpenVax2 将支持长读长测序 — iskander · 2026-11-07
- Google 发布 Muir 线性注意力架构：25MB 状态流式处理 1000 万 token — CategoryNormal149 · 2026-11-07