MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能
TheKanter · x · 2026-10-16
MLCommons 发布 MLPerf Endpoints 基准,不再测量孤立调优的配置,而是按用户实际购买的方式测量完整推理服务端点:模型、硬件、serving 软件和网络在类生产负载下的整体表现。
关键点:
- 输出是完整运行边界而非单点：每个结果给出不同并发级别下的 Pareto 前沿,可按自己工作负载和 SLA 查看吞吐与响应性
- 五大核心指标：并发数、首 Token 延迟 P90、系统吞吐(tokens/s)、每瓦吞吐(TCO 代理指标)、单用户交互流式速度
- 滚动提交机制：每隔几周发布一批结果,紧跟当前模型与软件而非滞后数月
- 三级结果状态：verified(经同行评审)、provisional(初审通过待评审)、unverified(未提交评审)
所属事件:MLCommons 发布 MLPerf Endpoints，入选欧盟 AI 工厂评分标准(2 条相关)→
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16