RX 7600 XT 16GB 本地跑 30B 模型实测：结合投机解码达 20 t/s
DanC403 · reddit · 2026-08-12
开发者分享了在入门级独显 AMD Radeon RX 7600 XT (16GB) 上本地运行 Muse Glimmer 30B 模型的实践经验。
- 硬件与环境：宿主机为 Ryzen 5 4600G + 96GB DDR4 内存，通过 QEMU/KVM 将 GPU 直通给 Debian Sid 虚拟机，并使用 ROCm 7.2 编译了 llama.cpp。
- 量化与加速：采用 UD-Q2-K-XL 量化方案，并配合 DFlash 投机解码（speculative decoding）提升吞吐。
- 性能表现：在 62k 上下文下，Prompt 处理速度约 308 t/s，生成速度达 20 t/s。
- 编码实测：向模型输入 8 个 JS 文件和 1 个 HTML 文件，首轮即成功输出可用代码，首次运行直接通过。
所属事件:Meta开源Muse Glimmer 30B：端侧智能体实测惊艳(14 条相关)→
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16