Signal65 发布 PINNACLE 基准：按「正确完成的工作量」评测 agentic AI
ryanshrout · x · 2026-09-12
Signal65 推出面向 agentic AI 的新基准 PINNACLE，主打「outcomes, not output」：不只测 token 吞吐，而是用真实多步企业级任务，评分模型、GPU、CPU 与整机系统是否把工作做对、多快做完、成本多少。
核心设计要点：
- 确定性评分：由代码对照运行时生成的答案钥匙（answer key）自动判分，不依赖模型裁判或人工评级，杜绝评分漂移。
- 防记忆/防调参：每轮运行程序化重建沙盒与答案钥匙，没有固定语料可训练、没有静态目标可优化。
- 真活 agent 会话：答案钥匙在 agent 启动前生成并保存在沙盒之外，每次评测都是真实 agentic 多轮交互（含增长上下文、KV-cache 重载与工具调用）。
NVIDIA 高管 Ian Buck 表示 Blackwell Ultra 是 PINNACLE 速度测试的参考平台；AMD 的 Ramine Roane 也表态将用 Instinct 与 ROCm 支持其生态扩展。NVIDIA 的 Ryan Shrout 转发推荐了相关播客讨论。
「Infra」频道最新
- Meta 给每个用户白送 2 vCPU 虚拟机,免费算力门槛让 OpenAI 都难跟进 — signulll · 2026-09-12
- CPO 不是杀死光模块,是搬走租金:光耦合才是产能瓶颈 — demian_ai · 2026-09-12
- Together/Fireworks/DeepInfra 的客户到底是谁？ — Azamat_Kuzdibay · 2026-09-12
- Reddit 呼吁 llama.cpp 实现 MoE「热专家重载」提速本地推理 — perelmanych · 2026-09-12
- Together 微调服务上新:支持 GLM-5.3、Kimi K2.7-Code,部分降价 30-70% — togethercompute · 2026-09-12
- NVIDIA BioNeMo 跑 3100 万次蛋白质复合物预测,省约 1.35 GWh 能源 — AllThingsApx · 2026-09-12