Artificial Analysis 改版基准:「每任务耗时」成头号指标,默认档速度差异巨大
ArtificialAnlys · x · 2026-11-05
Artificial Analysis 发布下一代 API 性能基准,覆盖其每天多次测试的约 1000 个 serverless 端点,核心变化是以「Time per Task」(完成一个任务的总耗时)取代流式速度作为头号指标。
关键发现:多数头部实验室把 API 默认 effort 设得低于最高档,导致任务耗时锐减——
- GPT-6 Astra:中等 effort 下智能指数 52(最高档 57),但单任务约 5.8 分钟 vs 约 18 分钟
- GPT-6.1 Sol:55→46,3.9 分钟 vs 20.0 分钟
- Claude Opus 5.5:59→48,6.8 分钟 vs 26.0 分钟
其他更新包括失败请求计 0 分并展示端点错误率。配图对比了 Max Effort 与 API Default Effort 下的智能、耗时与每任务成本(如 MiniMax-V2.5-Pro 每任务仅 $0.26,Claude Opus 5.5 (max) 达 $12.99)。
所属事件:Artificial Analysis 改版 API 基准,主打每任务耗时(2 条相关)→
「模型」频道最新
- Perceptron新3D手部模型:重建精度比ACE-Ego-Hand高12-25% — gui_penedo · 2026-11-05
- 0.8B 小模型登顶开源流式安全护栏,超越大 5-10 倍的对手 — const_reborn · 2026-11-05
- RoboColosseum 真机测试:MolmoAct 2 仅次于 GPT-6 Astra 居第二 — DJiafei · 2026-11-05
- 用户晒 Claude Max 订阅账单:月费 100 美元换来 Opus 接近无限量 — prasenx · 2026-11-05
- 改 0.0002% 权重无训练胜原模型,MIT 提出权重空间编程 — dbreunig · 2026-11-05
- Ricursive 发布 65B 开源权重模型 Ripple,登顶美国开源 agentic coding SOTA — DZhang50 · 2026-11-05