48GB 显存跑 Qwen 27B：自制 W8A16 量化达 100 tok/s
TacGibs · reddit · 2026-10-11
作者发布了自己制作的 Qwen 3.8 27B Swift 1.5 8-bit AWQ + GPTQ 量化版本（W8A16），称是 48GB 显存下速度与质量的最佳折中：
- 在 2 张 RTX 3090 上用 vLLM + MTP（MTP=5）运行，解码速度接近 100 tok/s，128k 上下文 + FP16 KV cache 下每卡占用约 21.6GB；
- 作者称该版本比原版 3.8 27B 更少「过度思考」；
- 模型已开源在 Hugging Face（TacGibs/Swift-1.5-Qwen3.8-27B-W8A16），模型卡内含制作细节，用 4 张 3090 完成量化。
「Infra」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- SpaceX 拟接入 8 万座美国基站，博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源：AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23