Anthropic TASTE 基准藏捷径:移除后强模型跌破随机水平

dhadfieldmenell · x · 2026-11-17

@fzzq2002 等人在 Anthropic 的 TASTE 基准(衡量 LLM 的 AI 安全研究品味)上发现一个简单捷径:移除该捷径后,能力越强的模型得分越低,最强模型甚至低于随机猜测,OpenAI 模型尤其明显。配图显示 28 个模型中能力与得分呈负相关(r=-0.60, p<0.001):最弱的 Haiku 4.5 反而最高(61.5%),而 Anthropic 三个最强模型(Opus 5.5、Fable 5.1/5.2)接近 50% 随机线,9 个 OpenAI 模型中 8 个显著低于随机(GPT-6 Sol 仅 21.2%)。这引发对「模型是否真的具备安全研究判断力」的质疑。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →