开发者发布本地 AI 基准:按模型与硬件实测 agent 任务与推理速度

draginol · x · 2026-11-08

draginol 发布了一个本地 AI 基准及配套网站,可按模型和硬件组合测量本地推理能力。基准分三档:Simple(约80项标注分类,1-4分钟)、Normal(把销售 CSV 做成 dashboard,3-6分钟)、Extended(虚拟工作区多步 agent 任务,15-20分钟);测试内容包括读笔记引用证据、修复带隐藏测试的 JavaScript、创建 todo 并从注入的工具故障中恢复,评分维度涵盖 agent 任务通过率、prefill、解码速度、首 token 与峰值内存。支持任意 OpenAI 兼容端点,自动检测本地引擎,跑中位数取 3 次运行。Extended 模式达标线:5 项任务过 4 项且解码 15 tok/s。