AA-AgentPerf-Local 代码开源,支持自测本地 Agent 推理速度
ArtificialAnlys · x · 2026-09-30
Artificial Analysis 放出 AA-AgentPerf-Local 的 GitHub 仓库与初始结果页面。该开源工具通过回放录制的 agent 对话来测本机 LLM 服务吞吐与延迟,支持用户已运行的任何 OpenAI 兼容服务器,也可自动下载指定模型、启动服务并跑分。支持 macOS、Linux、Windows(托管运行需 NVIDIA GPU),基于 uv,Docker 与 Rust 为可选依赖。
「Infra」频道最新
- DeepSeek 发布 TileLang 昇腾支持,业内称昇腾训练生态已完全可用 — teortaxesTex · 2026-09-30
- EasyPPO:固定 critic 让 PPO 回归 LLM 后训练,零训练崩溃 — teortaxesTex · 2026-09-30
- 为何数据中心不能直接抽海水冷却:氯腐蚀、盐结晶、生物附着三重坑 — AryHHAry · 2026-09-30
- Graphsub 推内存图数据库:别把 Agent 数据托付单一 AI 公司 — arthurcolle · 2026-09-30
- 即便 OpenAI/Anthropic 上市崩盘,GPU 硬件多头逻辑依然成立 — GabGarrett · 2026-09-30
- GPU 统治深度学习纯属偶然,定制 chiplet 架构或将重塑推理 — ai · 2026-09-30