Artificial Analysis 改版 API 基准:「每任务耗时」成核心指标
ArtificialAnlys · x · 2026-11-05
Artificial Analysis 发布其 API 性能基准的下一代版本,覆盖约 1000 个每日多次测速的 serverless 端点。核心变化:
- 「Time per Task」成为头条指标:衡量模型完成一个任务的总时长而非流式速度——快而啰嗦的模型可能比慢而简洁的模型更耗时。计算方式为 Intelligence Index 各任务的输出 token 数除以端到端输出速度。
- 端到端速度覆盖整个请求:从发出请求到收到最后一个 token,包含首 token 前的等待(prefill 与隐藏的推理时间);输出 token 数改用各厂商 API 上报值。
- 评测加入 agentic 负载:短/文档级/长上下文 prompt 加上编码与知识工作的多轮会话,头条数据取近 5 天平均。
- 同时追踪 API 默认 effort 与最高 effort:多数开发者用厂商默认档位。
关键结论:
- OpenAI 模型主导「智能-耗时」Pareto 前沿:GPT-6 Astra 以每任务约 5 万输出 token 在约 17 分钟完成任务,而 Claude Opus 5.5(max,111 tokens/s)约 26 分钟、Gemini 4 Carbon(high)约 29 分钟,后两者耗 12 万–17 万 token。
- 默认(中等)effort 使 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 的每任务耗时缩短约 3–5 倍、成本降约 2–4 倍,智能分仅低 5–11 分;Opus 5.5 从 26 分钟/$10.04 降至 6.8 分钟/$2.45。
- 只优化解码速度的端点在新口径下排名跌幅最大:低批次排队、一次性突发输出等做法拉长首 token 等待,如今被计入。
所属事件:Artificial Analysis 改版 API 基准，主打每任务耗时(2 条相关)→
「Infra」频道最新
- LFM3-Omni-2B 移植 iPhone：完全离线多模态对话达 80 tok/s — JosephJacks_ · 2026-11-05
- Together 发布持续编译器 TKCC:Agent 自动优化推理,实验效率提升 252 倍 — togethercompute · 2026-11-05
- 轨道数据中心发射入轨：被玩成「精灵西渡」的科幻梗 — rand_longevity · 2026-11-05
- 越南林同省拟引入 Starlink，破解山区事故救援通信难题 — elonmusk · 2026-11-05
- SpaceX 携手高通建全美 Starlink Mobile 5G 网络，2027 年铺开 — Polymarket · 2026-11-05
- Agent 烧钱循环怎么防：调用前预算护栏的六道检查与三个踩坑 — MaverikSh · 2026-11-05