Qwen 3.8 27B 本地部署指南:3090 上的最佳参数
cezarducatti · reddit · 2026-08-18
作者分享了在 RTX 3090 (24GB 显存) 上运行 Qwen 3.8 27B 模型的具体配置。相比 3.6 版本使用 Q4XL,作者在 3.8 版本上切换到了 Q3XL 并开启了推理模式,让其充分“思考”。实测效果出色,成功重构了超过 4000 行的 Python 脚本。配置包含 K-cache/V-cache 设置、160k 上下文窗口以及详细的启动参数。
「Infra」频道最新
- 10 万亿美元数据中心卡壳:GPU 需 230GW,美国电网只能供 100GW — PeterDiamandis · 2026-08-18
- 电网瓶颈导致 10 万亿美元 AI 算力缺口 — PeterDiamandis · 2026-08-18
- 探讨:是否有人在本地 Linux VM 运行 Bot — Daniel_Farinax · 2026-08-18
- PotatoMesh:去中心化 LoRa 节点联邦可视化面板 — tom_doerr · 2026-08-18
- llama.cpp 自适应 MTP PR:代码生成提速最高翻倍 — Look_0ver_There · 2026-08-18
- CoreWeave CEO:算力需求将供不应求数年 — Beth_Kindig · 2026-08-18