Signal65 发布 PINNACLE 基准：按「正确完成的工作量」评测 agentic AI
ryanshrout · x · 2026-09-12
Signal65 推出面向 agentic AI 的新基准 PINNACLE，主打「outcomes, not output」：不只测 token 吞吐，而是用真实多步企业级任务，评分模型、GPU、CPU 与整机系统是否把工作做对、多快做完、成本多少。
核心设计要点：
- 确定性评分：由代码对照运行时生成的答案钥匙（answer key）自动判分，不依赖模型裁判或人工评级，杜绝评分漂移。
- 防记忆/防调参：每轮运行程序化重建沙盒与答案钥匙，没有固定语料可训练、没有静态目标可优化。
- 真活 agent 会话：答案钥匙在 agent 启动前生成并保存在沙盒之外，每次评测都是真实 agentic 多轮交互（含增长上下文、KV-cache 重载与工具调用）。
NVIDIA 高管 Ian Buck 表示 Blackwell Ultra 是 PINNACLE 速度测试的参考平台；AMD 的 Ramine Roane 也表态将用 Instinct 与 ROCm 支持其生态扩展。NVIDIA 的 Ryan Shrout 转发推荐了相关播客讨论。
所属事件:Signal65 推出 PINNACLE 基准：按任务成果算，AI 成本并未上涨(2 条相关)→
「Infra」频道最新
- Clover-35B-A3B 量化后仅 29.4GB，64GB Mac 跑出 42 tok/s — viveky259 · 2026-10-31
- Liquid Agent 登陆 Linux：LFM3 小模型全本地运行，一条命令装好 — JosephJacks_ · 2026-10-31
- 纯本地办公 AI 栈：OCR、Agent、RAG、语音六个开源模型组合 — HowDevelop · 2026-10-31
- a16z 数据：GPU 租金三个月涨 106%，token 价格反跌 58% — a16z · 2026-10-31
- vLLM nightly 支持 PLE 磁盘卸载,PR 标签现「Qwen4Exp」引 Qwen4 猜想 — rmhubbert · 2026-10-31
- 按分钟租 GPU 渲染只要 1 美元:一人 AI 工作室工作流曝光 — r0ck3t23 · 2026-10-31