Signal65 发布企业级 Agent 基准 PINNACLE
9 月 1 日，分析机构 Signal65 正式发布面向企业级 Agent AI 的基准测试 PINNACLE，由前 PC Perspective 创始人、Intel 前首席性能策略师 Ryan Shrout 团队主导推出，Ben Bajarin 等业界人士同日转发介绍，并同步公布首份测试报告：杂乱的真实数据会使 AI 代理作业完成率下降 28%。
已确认
- PINNACLE 的定位是解决现有 AI 排行榜“撒谎”的问题：企业购买的是“在自有数据上正确完成的工作”而非 Token 或单纯输出速度，因此基准应衡量多步骤任务是否正确完成
- 场景构建基于美国劳工部的职业活动描述，采用混乱混合的真实任务，而非合成任务
- 测试对象不限于模型本身，同时覆盖基础设施，关注任务是否正确完成、速度与成本；据 CTO Advisor 的讨论，其核心指标是“每正确任务的成本”，该作者认为这比用 token 消耗衡量 AI 生产力更靠谱
- Shrout 回顾近二十年硬件评测经验，借鉴其早年“Frame Rating”方法论（从单纯测帧率转向衡量游戏真实体验），主张 AI 评测应从单纯测模型智能转向衡量真实工作流表现
- 首份 PINNACLE 报告测量了 44 种模型配置在企业真实工作流中的表现：在整洁数据上，有 9 种模型配置的作业完成率超过 95%；一旦切换到现实中杂乱（如重复、未迁移等）的数据，完成率整体下降 28%
- 传统基准要么测量模型能力，要么测量硬件性能，难以衡量企业级 Agent 的工作流质量，PINNACLE 旨在填补跨模型与基础设施评估“正确工作产出”的这一空白
为什么重要
- Shrout 指出，有持久价值的基准衡量买家真正付费的东西；当前企业 Agent 采购决策缺乏可信的评测依据，问题不是“哪个模型最聪明”，而是“哪个模型能以可辩护的方式正确完成工作”
- 首份报告的“杂乱数据”结果揭示了排行榜成绩与企业真实环境表现之间的显著落差，直接支撑了该基准的设计动机；CTA Advisor 讨论也提出，当前模型已足够好，真正的问题是谁来决定升级、以什么成本
- 该基准同时约束模型与硬件厂商的营销叙事，若被广泛采纳，可能影响企业 Agent 选型与基础设施采购标准
2026-09-01 ~ 2026-09-02 · 9 条相关
一手来源
- 前 Intel 首席性能策略师发布 PINNACLE:专测智能体工作量 — ryanshrout ·
- Signal65 报告：杂乱数据致 AI 代理完成率降 28% — ryanshrout ·
- Signal65发布企业级Agent基准PINNACLE — BenBajarin ·
- 【源头】前 Intel 首席性能策略师发布 PINNACLE:专测智能体工作量 — ryanshrout · 2026-09-01
- Signal65 发布 Pinnacle 基准：用企业真实任务重测 Agent — ryanshrout · 2026-09-01
- 实测 Signal65 Pinnacle：借鉴 Frame Rating 评测 Agent 工作流 — ryanshrout · 2026-09-01
- 【源头】Signal65发布企业级Agent基准PINNACLE — BenBajarin · 2026-09-01
- Signal65 发布 PINNACLE 基准：AI 排行榜在骗企业买家 — ryanshrout · 2026-09-01
- 【源头】Signal65 报告：杂乱数据致 AI 代理完成率降 28% — ryanshrout · 2026-09-01
- PINNACLE 基准按「每正确任务成本」打分：模型已够好，该问谁决定升级 — ryanshrout · 2026-09-02
另有 2 条近重复转述:ryanshrout · ryanshrout