Anthropic TASTE 基准藏捷径:移除后强模型跌破随机水平
dhadfieldmenell · x · 2026-11-17
@fzzq2002 等人在 Anthropic 的 TASTE 基准(衡量 LLM 的 AI 安全研究品味)上发现一个简单捷径:移除该捷径后,能力越强的模型得分越低,最强模型甚至低于随机猜测,OpenAI 模型尤其明显。配图显示 28 个模型中能力与得分呈负相关(r=-0.60, p<0.001):最弱的 Haiku 4.5 反而最高(61.5%),而 Anthropic 三个最强模型(Opus 5.5、Fable 5.1/5.2)接近 50% 随机线,9 个 OpenAI 模型中 8 个显著低于随机(GPT-6 Sol 仅 21.2%)。这引发对「模型是否真的具备安全研究判断力」的质疑。
「模型」频道最新
- Databricks AI Index 揭示企业模型用量与钱包份额分布 — jonathanmendez · 2026-11-17
- Gamma 亿级用户数据:OpenAI 效率领先,Anthropic 擅长细致理解 — omooretweets · 2026-11-17
- Google 把 Gemini 4 Carbon 放进 AI Mode,付费版 Gemini 应用却没有 — gaganghotra_ · 2026-11-17
- Ripple-65B 发布:65B 小模型拿下美国开源权重 Agentic Coding SOTA — Azaliamirh · 2026-11-17
- 腾讯混元 hy-4 flash 实测:首个真正「快」的中国模型 — ShunyuYao12 · 2026-11-17
- 用户因一年前聊食物收到 ChatGPT 警告,被吐槽过度安全化 — Kyrannio · 2026-11-17