自托管 Qwen3.8-27B 实测:推理跑出 200+ tokens/秒
gnukeith · x · 2026-08-15
开发者 @gnukeith 持续扩充自托管服务栈,当前包括:Vaultwarden(密码管理)、SGLang(推理引擎)、Qwen3.8-27B NVFP4 量化模型、Open WebUI、Forgejo、FUTO Notes Sync 和 Immich(照片管理)。
其中亮点是 SGLang 加载 Qwen3.8-27B NVFP4 后,本地推理速度约 200+ tokens/秒,体验相当流畅。
「Infra」频道最新
- Meta 选择 MLX 做本地推理,Muse Spark Open 登陆 Mac Studio — awnihannun · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16
- Artificial Analysis 首测 Vera Rubin NVL72:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Vera Rubin NVL72 实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16