Artificial Analysis 开源本地 Agent 推理基准,首测 DGX Spark 与 M5 Pro
ArtificialAnlys · x · 2026-09-30
Artificial Analysis 开源了 AA-AgentPerf-Local,一款测试 AI 模型在本地笔记本/工作站上以 agent 方式运行速度的基准工具,并发布 NVIDIA DGX Spark (128GB)、RTX 5090 (32GB)、AMD Ryzen AI Halo (128GB)、MacBook Pro M5 Pro (64GB) 的初始结果。
工作原理
- 回放真实 agent 会话:默认工作负载为 8 个录制的 agent 任务、共 168 轮模型调用,每轮请求携带完整上下文(增长至约 56K tokens),每轮生成固定数量 token,保证各系统工作量一致
- 默认跳过工具执行以隔离推理速度;也可回放真实工具延迟或在 CPU 上实时跑工具调用
- 支持任何 OpenAI 兼容推理服务器,可测任意模型与配置
首发模型:Qwen3.5-9B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ling 3.0 Flash (124B/5B active),均为 4-bit 量化,覆盖稠密与 MoE 架构。硬件覆盖 CUDA、ROCm、Vulkan、Metal 四种平台。该机构此前已覆盖手机和数据中心硬件,此番扩展至笔记本与工作站,后续还将加入 RTX PRO 6000 Blackwell 等设备。
所属事件:Artificial Analysis 开源本地 AI Agent 性能基准(2 条相关)→
「编程与Agent」频道最新
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16
- 摩根大通展示内部 agent 流水线 Jarvis:数月工作缩至几分钟 — LangChain · 2026-11-16
- 开发者澄清:App Store 并未全面禁用 Feature Flags — talkaboutdesign · 2026-11-16
- 用户实测:Google Antigravity 效果不输 Claude Cowork,Gemini Tasks 定位存疑 — sebajun2 · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16