新基准SO-Arena:单次前向模型的能力与可靠性要分开测

新智元 · wechat · 2026-11-22

新加坡国立大学 xML Lab 团队发布 SO-Arena,一套专为 SystemOne(单次前向输出概率分布)模型设计的评测基准,论文与数据集均已开源(2,919 项任务)。

四项设计原则

主要发现

对开发者而言,SO-Arena 的启示是:评估 SystemOne 模型除了看准确率,还要测它在选项换序时是否坚持判断、在没有合适选项时能否如实拒答。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →