NVIDIA 开源 AIPerf：高并发下压测 LLM 推理性能
NVIDIAAI · x · 2026-09-19
NVIDIA 发布技术博客介绍 AIPerf，替代 GenAI-Perf 的 LLM 推理基准测试工具：
- 多进程架构：避免 Python GIL 和单进程瓶颈，高并发压测时客户端不再成为瓶颈。
- 支持 15+ 端点类型：内置 ShareGPT 等公开数据集，支持 Mooncake、Baseten、WEKA AgentX 的 trace replay 格式，模拟真实生产流量。
- 可配置到达模式：constant、Poisson、gamma 分布及可调 burstiness，可塑造贴近生产特征的负载。
- 指标：报告 TTFT、ITL、请求延迟、输出 token 吞吐量的百分位分布，并在有 DCGM/pynvml 时附带 GPU 遥测。
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04