Scale AI 发布 MA-Bench:借鉴军事任务规划测 LLM,最强模型也只答对 62%
Rodney Lafuente-Mercado · hf · 2026-10-15
Scale AI 与 Data Machines 发布 MA-Bench,借军事作战规划第一步「任务分析」测 LLM:在没有唯一正确答案时,从大量不完整且互相矛盾的文档中读清局势、陈述问题。
- 10 个专家构建场景,每个配 10–12 份合成文档包和共 1,257 条专家写的通过/不通过要求,标注信息来源、问题类型与重要级别。
- 推理模型 judge 独立阅卷,表现如第五位持证规划师,不改变四人专家组的评分一致性(Fleiss κ 0.42→0.41);第二家厂商的 judge 复现模型排名(Spearman 0.94)。
- 20 个前沿与开源模型中最好者仅答对 62% 的 rubric 条目;文档明述事实最强(58%),需推断的判断最弱(33%),六成失败是遗漏而非错误。
- 评分只看判断结论不看文风;数据包、rubric、prompt、评分器与逐条评分全部开源。
「研究」频道最新
- MagicBeanStalk 论文：88% RLVR 数据陷入零优势陷阱，递归合成提分 8.6 — Lianhuiq · 2026-10-15
- Baker 实验室连发两篇 Nature:计算从头设计金属蛋白酶与半胱氨酸蛋白酶 — ArashVahdat · 2026-10-15
- Player-1：强化学习让 VLM 智能体零迁移玩转 GTA V — yshan2u · 2026-10-15
- Jev 1.14.0 二元问题校准达标,难题上却过度自信 22 个百分点 — shaun117 · 2026-10-15
- AI 的真实工作方式：狂写脚本暴力搜索验证假设 — teortaxesTex · 2026-10-15
- 冯诺依曼妙招：用不均匀硬币抛出完全公平的结果 — doodlestein · 2026-10-15