双 3090 跑 Qwen3.8-27B INT4 量化版，速度远超 FP8
Travnewmatic · reddit · 2026-10-29
Reddit 用户分享在双 RTX 3090 上的本地部署体验：将日常使用的 dual vLLM Qwen3.8-27B FP8 配置换为 RedHatAI 的 INT4 量化版后，速度显著提升，且比该模型刚发布时的早期 INT4 版本快得多。作者给出了基于 QEngine 的完整 compose 配置文件，适合想在 24GB 消费级显卡上跑 27B 模型的玩家复现。
「Infra」频道最新
- Sam Altman：本地推理是对稀缺算力的糟糕分配，云上利用率才是正解 — morqon · 2026-10-30
- IEA 预测 2030 年全球数据中心用电将达 950 TWh — PeterDiamandis · 2026-10-30
- 实测发现 OpenRouter 部分供应商会丢弃 DeepSeek 工具调用的可选参数 — emilahlback · 2026-10-29
- Cloudflare 拟向 AI agent 按请求收费，瞄准约 2000 亿美元机器支付市场 — LexSokolin · 2026-10-29
- Runpod 租 A6000 跑 Qwen3-8B 实测仅 10 tokens/s — huangyun_122 · 2026-10-29
- LM Studio 上线 oMLX 引擎，Apple Silicon 可直接运行 MLX 模型 — victormustar · 2026-10-29