vLLM 跑 DeepSeek v4.1:解码速度比 SGLang 快 10-20%
morgymcg · x · 2026-10-26
用户 morgymcg 分享了用 YourLocalAILab 提供的 vLLM 镜像运行 DeepSeek v4.1 的实测结果：在 RTX Pro 6000 上解码速度(tokens/s)比 SGLang 快约 10-20%,且暂未观察到质量下降，评测仍在进行中。
「Infra」频道最新
- Tailscale 工程副总裁回应 SSH 漏洞疑虑：暂无需全员禁用 — basedjensen · 2026-10-26
- 劳登县居民竖牌抵制电网扩建，数据中心扩张遭遇阻力 — DavidLinthicum · 2026-10-26
- ComfyUI 插件把 20GB 视频模型锁进显存，镜头切换从 7.3s 降到 0.4s — LatentForge-Dev · 2026-10-26
- Meta Muse Spark Open 上线 Baseten Loops：自定义奖励函数后训练 — baseten · 2026-10-26
- RTX 3080 20GB 解锁 P2P 后 prompt 处理提速 70%~115% — No-Refrigerator-1672 · 2026-10-26
- HN 热议：宽事件优于指标、日志、追踪三件套的可观测性思路 — bootlegbilly · 2026-10-26