3060 12GB 跑 Qwen3.8-27B:65K 上下文量化配方实测
WiseVanilla2743 · reddit · 2026-11-15
Reddit 老用户在 RTX 3060 12GB + 16GB DDR4 上跑 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO GGUF(IQ3XXS 量化、非 MTP、turboquant),mmproj 卸载到内存,完整 65K 上下文全部在显卡上运行。作者称能完成需要真正推理的设备端 agent 任务,并给出完整 llama-tq 启动命令(reasoning-budget 256、-ngl 99、65536 上下文等)。作者征询社区意见。
「Infra」频道最新
- 微软提出量子计算机系统架构蓝图：可用经典 HPC 原理管理 — thoefler · 2026-11-15
- 三星德州厂将产 Starlink 卫星芯片,获 47.45 亿美元美国补贴 — XFreeze · 2026-11-15
- 美国45次数据中心公投否了44次，中国内蒙古百万芯片机房狂飙 — ccerrato147 · 2026-11-15
- Intel LGA 1954 平台细节曝光：桌面端或现三条 PCIe 5.0 x8 直连 CPU — reto-wyss · 2026-11-15
- Qwen3.8-27B 词表剪枝版:16GB 卡 75K 上下文 60 tok/s — fakezeta · 2026-11-15
- 思科 AI 营收达 90 亿美元，业绩超预期股价仍跌 6% — pdamodaran · 2026-11-15