网友拟开放 Qwen 3.8 27B 本地服务，每秒 56 Token
No_Run8812 · reddit · 2026-08-18
作者计划将本地的 Qwen 3.8 27B（8-bit 量化）免费开放给社区测试。环境配置为单张 RTX PRO 6000 96GB，通过 vLLM 部署。当前在 3 个并发用户、262K 上下文下，解码速度约 56 tk/s。作者在征求关于上下文长度限制（25 万 vs 缩短以支持更多用户）及访问方式（OpenAI 兼容 API vs WebUI）的建议。
「Infra」频道最新
- OCP 大会最后一日，Nvidia MGX 电源机架场次仍座无虚席 — firstadopter · 2026-10-16
- Intel 用 4 张 160GB 风冷 GPU 卡跑通 816B 参数 Muse Spark Open — BenBajarin · 2026-10-16
- Filecoin 主网上线六年，转向 AI 时代存储并推出 S3 对象存储 — juanbenet · 2026-10-16
- PrismML 发布 Bonsai 2 三值模型:9B 仅 2GB 可跑手机 — gajesh · 2026-10-16
- Artificial Analysis 将测试 4-bit 量化与 Metal 投机解码引擎 — ArtificialAnlys · 2026-10-16
- RTX Spark 笔记本跑本地 Agent 负载 18.7 分钟，比 MacBook Pro 快一倍 — ArtificialAnlys · 2026-10-16