新基准SO-Arena:单次前向模型的能力与可靠性要分开测
新智元 · wechat · 2026-11-22
新加坡国立大学 xML Lab 团队发布 SO-Arena,一套专为 SystemOne(单次前向输出概率分布)模型设计的评测基准,论文与数据集均已开源(2,919 项任务)。
四项设计原则
- 可信标签:任务取自 40 个公开来源(如 MATH500、AIME、GPQA Diamond、Mind2Web、BFCL 等),人工核验参考答案是否可从输入证据推出;
- 难度分层:11 个领域中 9 个按领域标准划分难度档,提升区分度;
- 交互评测:619 项环境任务让模型在网页/工具沙盒中连续多步决策,按整任务成功计分;
- 决策可靠性:独立检验选项重排稳定性(S)与空缺识别(N,正确答案缺席时能否说"都不适用"),合成可靠性分 R 与能力分 C 并列报告。
主要发现
- 21 个受测模型中,GPT-6 Sol(82.3)与 Luna(79.7)仍领先,最佳 SystemOne 模型 GLiDE 与 KnowLine-31B 均为 70.2,但开源模型单张 H100 上每题不超 0.3 秒,比闭源端到端快数十倍;
- 与 SystemTwo 的差距因领域而异:语义判断几乎无差距;细粒度决策靠更大骨干比靠思考更有效;多步推导(数学)差距最大,开启思考可从 50.8 升至 92.5;
- 能力与可靠性排名不一致:可靠性最高的 JevAny-27B(R=0.84)能力仅列第 11;顺序稳定性大体随能力上升,而空缺识别与能力关系松散,4B 模型可能超过 27B,必须单独测量。
对开发者而言,SO-Arena 的启示是:评估 SystemOne 模型除了看准确率,还要测它在选项换序时是否坚持判断、在没有合适选项时能否如实拒答。
「模型」频道最新
- Gemini 新模型+Antigravity 能否撼动 $20 档 Claude Code 与 Codex 订阅? — Previous-Display-593 · 2026-11-22
- Inkling 2 Mini 在单张 4090 上跑到 117 tokens/s,作者建议弃用 llama.cpp — MerePotato · 2026-11-22
- Andrew Ng 点赞 Gemini Neon:唯一不让人烦的对话模型 — andrewgwils · 2026-11-22
- 截图曝光 ChatGPT Pro 100 档:$100/月,限额跨 Codex、Agents 共享 — non_omnis_moriar777 · 2026-11-22
- Reflection 携手 Andon 让 AI 智能体真实运营自动售货机测自主风险 — alexpolozov · 2026-11-22
- Bindu Reddy 实测:模型中等强度仍不及 Opus,Neon 高档接近但更慢 — bindureddy · 2026-11-22