AA-AgentPerf-Local 代码开源,支持自测本地 Agent 推理速度

ArtificialAnlys · x · 2026-09-30

Artificial Analysis 放出 AA-AgentPerf-Local 的 GitHub 仓库与初始结果页面。该开源工具通过回放录制的 agent 对话来测本机 LLM 服务吞吐与延迟,支持用户已运行的任何 OpenAI 兼容服务器,也可自动下载指定模型、启动服务并跑分。支持 macOS、Linux、Windows(托管运行需 NVIDIA GPU),基于 uv,Docker 与 Rust 为可选依赖。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →