Artificial Analysis 公开 API 基准方法论:每 6 小时测一轮,含多轮 agentic 负载
ArtificialAnlys · x · 2026-11-05
Artificial Analysis 附上其 API 性能基准的方法论与默认 effort 说明。要点：
- 工作负载类型：单次请求（短到长上下文多档 prompt 长度）+ 多轮 agentic 会话（来自编码与知识工作评测，含工具调用）
- 负载模拟生产：每轮中固定单请求负载与一个轮换负载同时运行，轮换负载最后启动、在满载下运行
- 频率：每 6 小时跑一轮；长上下文与多轮负载轮换，各每日测一次；已弃用模型的端点每三轮测一次（18 小时），其轮换负载每 3 天一次
- 缓存：每轮多轮会话中测量缓存命中率，每月用过去四周中位数更新各端点代表性缓存命中率
- 长上下文会同时推高首 token 延迟并降低输出速度
「模型」频道最新
- Perceptron新3D手部模型：重建精度比ACE-Ego-Hand高12-25% — gui_penedo · 2026-11-05
- 0.8B 小模型登顶开源流式安全护栏，超越大 5-10 倍的对手 — const_reborn · 2026-11-05
- RoboColosseum 真机测试:MolmoAct 2 仅次于 GPT-6 Astra 居第二 — DJiafei · 2026-11-05
- 用户晒 Claude Max 订阅账单：月费 100 美元换来 Opus 接近无限量 — prasenx · 2026-11-05
- 改 0.0002% 权重无训练胜原模型，MIT 提出权重空间编程 — dbreunig · 2026-11-05
- Ricursive 发布 65B 开源权重模型 Ripple,登顶美国开源 agentic coding SOTA — DZhang50 · 2026-11-05