Signal65发布企业级Agent基准PINNACLE
BenBajarin · x · 2026-09-01
Signal65 正式发布 PINNACLE，这是一个针对企业级 Agent AI 的基准测试，旨在测量“正确的工作”而非简单的输出速度。
核心特点：
- 基于真实工作： 使用美国劳工部的职业活动描述构建场景，而非合成任务。
- 代码验证评分： 运行时生成答案键，无需模型评判或人工打分，防止过拟合。
- 多维度评估： 包含模型智能、算力容量和解决方案经济学（成本）。
首批数据发现：
- 干净数据已接近解决，但在混乱数据上，44种模型配置中只有2种能通过95%的任务。
- NVIDIA Blackwell Ultra B300 节点在维持 Agent 数量上比 H2 节点高出约 3 倍。
所属事件:Signal65 发布企业级 Agent 基准 PINNACLE(9 条相关)→
「Infra」频道最新
- MiniCPM-V 4.7 上了手机:35B MoE 在 iPhone 上 3GB 内存跑出 13+ tokens/s — heyshrutimishra · 2026-10-16
- 个人 C++/Vulkan 推理引擎 LaForge 调优后 SD1.5 出图快 30-46 倍 — Ichidan256 · 2026-10-16
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16