新基准AA-AgentPerf：GB300每兆瓦并发智能体数为H200约20倍
新智元 · wechat · 2026-07-04
独立评测机构ArtificialAnalysis发布业内首个专为AI智能体设计的推理基准AA-AgentPerf，主指标为“每兆瓦并发智能体数”。它不喂定长合成请求，而是回放真实编程智能体轨迹，覆盖12+种语言、最长约200轮、上下文可达13万token，并放开KV cache复用、推测解码等生产优化，先锁死SLO服务标准再测最大并发。
英伟达公布的AA-AgentPerf成绩显示：在每秒20与60 token两档服务标准下，GB300NVL72每兆瓦的并发智能体数均约为H200的20倍——同样一兆瓦电，GB300NVL72可同时扛约61400个智能体，H200仅约2600个。
文章指出，智能体负载是接力式长链调用，单次请求基准已量不动这种链式调用、工具等待与上下文膨胀；对真金白银买卡建数据中心者，真正关心的是每度电每块GPU能养活多少干活的智能体。
「Infra」频道最新
- EdgeRock-4B KV cache 256K 上下文仅 72 MiB,比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27
- PyTorch 实测:ExecuTorch+Arm SME2 让端侧流式语音识别提速 2.12 倍 — PyTorch · 2026-10-27
- NVIDIA 演示投机解码加速 Jetson 端侧 LLM 推理 — NVIDIA Developer · 2026-10-27