SGLang 推出 Qwen3.8-27B 支持，5090 跑出 200+ tok/s
unseenmarscai · reddit · 2026-08-15
SGLang 宣布对 Qwen3.8-27B 模型提供首日支持。通过结合 NVFP4 量化与 DSpark 技术，在单张 RTX 5090 和 RTX Pro 6000 上实现了 200+ tok/s 的解码速度，在 DGX Spark 上达到 38 tok/s。相关模型权重已在 Hugging Face 发布，文档与 Cookbook 已更新。
所属事件:阿里开源 Qwen3.8-27B 原生多模态模型(48 条相关)→
「Infra」频道最新
- 黄仁勋披露：每 GPU 年收约数千美元软件费，成 NVIDIA 重要收入线 — rohanpaul_ai · 2026-10-16
- 开发者亲测：几万块 V100 本地部署 DeepSeek，不如直接订阅 Claude — lxfater · 2026-10-16
- 公开喊话 neocloud：我愿买 3 万美元 GPU 算力，给个折扣吗 — Sauers_ · 2026-10-16
- 拿到新硬件就开跑：垃圾佬第一时间本地部署模型 — lxfater · 2026-10-16
- Together AI 提出 Score Centering:量化推理下 RL 训练不再崩 — nrehiew_ · 2026-10-16
- AI 推理正走向异构分解:Prefill 与 Decode 分用专用芯片 — AccBalanced · 2026-10-16