NUS 发布 SO-Arena：评测 21 个 System One 模型，整体准确率不代表决策可靠

NationalUniversityofSingapore · hf · 2026-11-13

新加坡国立大学团队在 HF 发布 SO-Arena 基准，覆盖 11 个领域、5 大能力族，用于刻画 System One（快速直觉型）模型的能力光谱与决策可靠性。特性包括：基于可靠来源与人工核验的证据化评估、按领域难度细分的细粒度能力评估、沙盒中的真实交互式评估，以及支持 System 1/2 对比的推理密集任务；可靠性方面测决策稳定性（受控选项集变化）与缺答案识别。对 21 个模型的评测显示：scaling 与推理增益因领域差异明显，且整体准确率高并不保证决策可靠——表现最好的模型在可靠性上仅排第七。