SO-Arena 基准:21 个模型中表现最好者决策可靠性仅排第七
kalyan_kpl · x · 2026-11-15
新论文 SO-Arena 提出评估 System One 模型（快思考型模型）能力谱系与决策可靠性的基准，覆盖 11 个领域、5 类能力族。
基准特点
- 基于可靠来源的证据化评估，参考标签经人工核验
- 通过领域特定的难度标准实现细粒度能力评估
- 支持真实交互式评估
对 21 个模型的评估发现
- scaling 与额外推理的收益在不同领域差异很大
- 整体性能强不代表决策可靠：表现最好的 System One 模型在可靠性排名中仅列第七
「研究」频道最新
- 斯坦福 Flash ALOHA:双臂机器人 1.85 秒完成抛接球 — k7agar · 2026-11-15
- 多无人机空中协作给缆绳打结，可自主捆吊搬运重物 — lukas_m_ziegler · 2026-11-15
- Fleuret：v1.4 训练翻车，FCA 类模型 GSM8K 达 41.17% 更胜一筹 — francoisfleuret · 2026-11-15
- 世界模型幻觉研究获 CoRL 2026 PhysWM 工作坊最佳论文奖 — LerrelPinto · 2026-11-15
- RNN 记忆长短由循环矩阵特征值决定，LRU 用环形初始化破局 — RobertTLange · 2026-11-15
- Ropedia Xperience 2:把人类示范与场景扫描复用到机器人仿真的对齐方法 — liuziwei7 · 2026-11-15