LocalMaxxing 收录 228 个模型、693 组 LLM 推理吞吐基准结果
TheZachMueller · x · 2026-10-27
LocalMaxxing 平台已上传 693 组 llm-inference-bench 吞吐基准结果，覆盖 228 个不同模型、35 家机构（DeepSeek、Qwen、Meta、Google、OpenAI gpt-oss、MiniMax、Mistral 等），目标是建立统一的 LLM 吞吐基准数据源。
- 基准在 NVIDIA H200 与 RTX PRO 6000 Server 节点上验证，涵盖 1x/2x/4x/8x GPU 配置，使用 SGLang 与 vLLM 两种推理引擎。
- 「Matrix run」一次测量 prefill 与 decode 速度，横跨 7 种上下文长度（8K–1024K）与 8 个并发级别，并公开完整启动命令与配置细节。
- 示例数据：GLM-5.3-Flash-NVFP4 在双 H200 NVL 上 SGLang 峰值 decode 达 752.8-1330 tok/s；页面同时给出各并发下 TTFT 与「Over capacity」边界。
- 社区可贡献数据，另有 lmx CLI 与矩阵式运行支持。
「Infra」频道最新
- 本地跑两引擎日产 12M tokens 自封王，头部用户每分钟 34M 打脸 — perelmanych · 2026-10-28
- 96.8% 评测标注来自模型预测：Property Finder 修正评测偏差后成本降 86% — AWS ML Blog · 2026-10-28
- Exowatt 微调 Qwen3 小模型超越前沿模型，成本最高降 49 倍 — AWS ML Blog · 2026-10-28
- NVIDIA 开放 3500+ SimReady 仿真资产，免费上架 Hugging Face — mishig25 · 2026-10-28
- eMudhra 证书失信任与 PHP2Shell:交付快不等于运维得住 — rseroter · 2026-10-28
- Cadence Q3 经常性收入增 18%，agent 正拉动 EDA 工具用量 — BenBajarin · 2026-10-28