新基准AA-AgentPerf：GB300每兆瓦并发智能体数为H200约20倍
新智元 · wechat · 2026-07-04
独立评测机构ArtificialAnalysis发布业内首个专为AI智能体设计的推理基准AA-AgentPerf，主指标为“每兆瓦并发智能体数”。它不喂定长合成请求，而是回放真实编程智能体轨迹，覆盖12+种语言、最长约200轮、上下文可达13万token，并放开KV cache复用、推测解码等生产优化，先锁死SLO服务标准再测最大并发。
英伟达公布的AA-AgentPerf成绩显示：在每秒20与60 token两档服务标准下，GB300NVL72每兆瓦的并发智能体数均约为H200的20倍——同样一兆瓦电，GB300NVL72可同时扛约61400个智能体，H200仅约2600个。
文章指出，智能体负载是接力式长链调用，单次请求基准已量不动这种链式调用、工具等待与上下文膨胀；对真金白银买卡建数据中心者，真正关心的是每度电每块GPU能养活多少干活的智能体。
「Infra」频道最新
- Ubuntu 部署惊艳实测：5090 显卡成最易配置的 AI 设备 — _xjdr · 2026-07-27
- 台积电传 2027 年拟提价 5%–10% 应对成本上升 — Beth_Kindig · 2026-07-27
- Anthropic 称 Claude Code 删掉 80% 系统提示词仍不掉分 — krishnan · 2026-07-27
- Dhruv Bhatia 加入 fal，转向视频与世界模型栈 — gorkem · 2026-07-27
- Kimi K3 登陆 Together，预留吞吐成本低 65% — togethercompute · 2026-07-27
- NVIDIA 称 Vera CPU 正加速下一代 CPU 和 GPU 设计 — nordicinst · 2026-07-27