DeepSeek v4 与 GLM 推理速度跑赢 vLLM 和 SGLang
jedisct1 · x · 2026-09-09
开发者 steeve 发推称,现在 DeepSeek v4 和 GLM 在其推理栈上的运行速度已经超过 vLLM 和 SGLang 两大主流推理框架,并表示功能层面还有大量工作要做,但性能已经到位。这是关于新一代开源大模型推理性能的重要第三方实测信号。
「Infra」频道最新
- 就算 OpenAI 倒闭也挡不住 AI 建设：GPU 只会换手加速扩张 — markjeffrey · 2026-09-09
- 2x RTX 2060 跑 Qwen3.8 27B 达 45 tok/s，值得换 AMD 6800 双卡吗 — BarberIcy366 · 2026-09-09
- Coval 语音基准：Baseten STT 比 OpenAI 快约 5 倍且错误率最低 — baseten · 2026-09-09
- 2×4090 本地跑 Agent 实测：软上限 5 个@64k，硬上限 9 个 — Iamisseibelial · 2026-09-09
- exe.dev 深度解析:一条 ssh 命令秒开带持久盘的 Linux 沙盒 — davidcrawshaw · 2026-09-09
- GPT-6 Astra 登陆 Amazon Bedrock：百万 token 上下文，首达网络安全 Critical 级 — AWS ML Blog · 2026-09-09