去审查版 Qwen 拒答率降至 6%,但 27–56% 回答仍带保留

creditme7 · reddit · 2026-08-20

OrcaRouter 发布的 Qwen3.8-27B 去审查(abliterated)版本,模型卡显示:关闭思考模式时,有害提示的拒答率从基线 FP8 的 63.6–99.0% 降到 0–6.0%。但更有意义的数字是同一评测中仍有 27.3–56.0% 的回答被标记为带保留(caveated)——即去掉开头的拒绝话术并不等于给出无保留的答案。

需要注意该拒答检测器只看开头措辞,不评估答案是否正确、完整或鲁莽。能力表也喜忧参半:MMLU +0.4,但 MMLU-Pro -0.8、GSM8K -1.3、CMMLU -0.6。亮点在于 OrcaRouter 公布了足够多的测量边界使质疑可验证,并提供受限访问以供受控评测。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →