Artificial Analysis 端点准确度指数 v1.1：近1/4推理端点低于参考基准
ArtificialAnlys · x · 2026-11-06
Artificial Analysis 发布 Endpoint Accuracy Index v1.1，并新增 GLM-5.3 Flash 与 Muse Spark Open 覆盖。在 100+ 个 serverless 端点中，近 1/4 得分低于自托管参考部署。
- 评分方法：以官方权重的参考部署为 100%，等权评估工具调用（BFCL-500）、科学推理（HLE-250）与长上下文召回（AA-LCR-25）。供应商为压成本/提速会量化权重、自定义 kernel、截断输出，甚至带 bug 上线
- v1.1 变化：AA-LCR 升级到 v1.1（修正答案键错误、改用 GPT-5.6 Luna 评分），重复次数从 10 提至 25，95% 置信区间从 ±4.7 收窄至 ±2.6；覆盖六个开源权重模型
- GLM-5.3 Flash：22 个端点中 16 个与参考一致，一个反超（104.2）；两个端点因 32K 输出 token 上限截断约半数 HLE-250 回答，得分仅 22%/29%（参考 55%）；两个端点推理 token 少 30% 导致得分 48%
- Muse Spark Open：5 个端点中 3 个达标（99.5–99.9，含一个 FP4 部署）；另两个仅在工具调用失分——把工具定义为文本的参数（如订单号）当数字返回，BFCL-500 得分 50%/51%
所属事件:AA 端点准确度指数：近四分之一推理端点低于基准(4 条相关)→
「Infra」频道最新
- 6 套 LLM 推理引擎横评:256K 长上下文下速度与质量并测 — fuzhongkai · 2026-11-06
- 千元内 20GB+ 显存仅剩 AMD:7900 XT/XTX 跑视频生成还靠谱吗 — Beneficial_Fish_7509 · 2026-11-06
- 蓝色起源发布 Northstar 发动机：推力 71.5 万磅，比 BE-4 轻 30% — beffjezos · 2026-11-06
- 逐 token 打草稿成新瓶颈，DFlash 改为整块并行草稿加速推理 — Lianhuiq · 2026-11-06
- 一张桌面 B70 跑起全 AI 电台：边直播边本地生成音乐 — prince_pringle · 2026-11-06
- vLLM 团队创办的 Inferact 日处理 token 超 7 万亿 — Xianbao_QIAN · 2026-11-06