TerminalBench 计分口径不一:Astra 触发安全得 0 分,Fable 却换模型续跑

xeophon · x · 2026-09-15

xeophon 指出公开的 TerminalBench traces 存在计分口径问题:Astra 触发安全分类器后 rollout 被终止并计 0 分,而 Fable 遇到类似情况却被改路由到 Opus 继续运行。两种处理方式差异使得榜单分数难以直接比较,对评测公信力提出质疑。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →