57 个决策模型同台排名:AIM System One Index 榜单发布
AIMultiple · reddit · 2026-10-21
AIMultiple 团队发布 AIM System One Index,首个针对「System One」决策模型(decision models)的排行榜,共 57 个模型入选。这类模型不逐 token 生成文本,而是一次前向传播直接输出带概率的类型化决策。
评测由三部分组成:
- 浏览器任务:50 个任务,每任务仅一次机会
- 分类:1,655 道单决策题(安全公告严重度、FDA 召回等级、论文主题、浏览器任务是否完成等)
- 偏差测试:多选题中把「无法判断」选项轮换到各个位置
各分数转成 z 分数(50 为均值,10 分为一个标准差),成本与延迟单独展示不计入总分。
结果:AutoJev-27B、d1-ultra、decider-12b 并列第一(60 分)。新秀 d1-ultra 浏览器任务最佳(74%),每千次决策仅 $0.026;GLiDE 浏览器任务 72% 但单次决策需约 15.7 秒;Laya 最快(30ms/次);Decider Flash V1.2 最便宜(每千次 $0.007)。
「研究」频道最新
- 当机械论解释失效:神经科学家反思何谓「理解」复杂系统 — burny_tech · 2026-10-21
- 神经科学家也卡壳:复杂行为难以获得机制性解释 — burny_tech · 2026-10-21
- NBER 研究:近 30% 美国 STEM 博士论文摘要已由 AI 生成 — lmoroney · 2026-10-21
- 浏览器里实时看染色体折叠:lefsim 交互演示 loop extrusion — jmschreiber91 · 2026-10-21
- TokenGate:学习式 token 剪枝让长上下文预填充提速最高 11 倍 — Liana Patel · 2026-10-21
- 陶哲轩发起 AI 辅助挑战:用 AI 复审高斯经典数论问题 — robleclerc · 2026-10-21