EXL3 量化实测：12GB 显存流畅运行 30B 模型
PyaesoneP · reddit · 2026-08-30
作者分享了在 12GB 显存设备上运行 Muse Glimmer 30B EXL3-SC 3.00bpw H4 模型的经验。实测显示该模型在 100K 上下文下完全驻留显存，推理速度约 30 tok/s，且作为 Hermes Agent 使用时与官方 17GB 量化版质量差异不明显。作者对比了 Qwen 3.8 27B 的 SC2.20bpw H3 量化版，认为可用但仍偏好 Unsloth 量化版用于编码任务。
「编程与Agent」频道最新
- 用 Codex 17分钟写好 iPhone Duo 抢购程序，41项测试通过 — xiaohu · 2026-10-16
- 生成式 CAD 工具 NativeCAD 提供 177 个 MCP 工具，85% 以上英文建零件需求可通过 — burhop · 2026-10-16
- Flux AI CAD 支持导入 STEP 文件后用自然语言直接改型 — burhop · 2026-10-16
- 同时开 50 个 AI 任务是充电还是烧脑?开发者吵起来了 — zack_overflow · 2026-10-16
- 创业者用 Opus 一次清掉 3 万行技术债,印证「等新模型来重构」策略 — lucasmeijer · 2026-10-16
- 日本工程师用 tmux 搭建 AI agent 组织：每项目一队，人只对接总管 — 4310sy · 2026-10-16