RX 6700 XT 本地 35B 模型跑到 30 tps:完整 llama.cpp 配置求再提速
Loose_Doubt367 · reddit · 2026-10-10
一位用户分享了自己在低端硬件上跑 35B MoE 模型(Tiel-Coder-35B-A3B)的完整调优配置,目标是 30 tokens/s,现求助如何在不改变量化(q8/q4kxl)和 10 万上下文的前提下冲到 40 tps。
硬件与软件栈:
- AMD RX 6700 XT 12GB + 32GB DDR4 3200 + R5 5600X;
- llama.cpp Vulkan SDK,Windows 11 直跑(不用 WSL)。
已验证的调优要点:
- 线程数实测 6 最优(对比 4/8/12);
- flash-attn 开启,K/V cache 均用 q80 压缩;
- n-gpu-layers=99 配合 n-cpu-moe=28 做 GPU/CPU 混合 MoE 卸载;
- 启用 draft-mtp 投机解码(spec-draft-n-max=3)、DIO 加载、fit 显存目标 256 MiB;
- 帖内贴出完整参数配置可直接照抄。
这是一个对低配本地部署用户很有参考价值的实测案例,评论区在讨论进一步优化方向。
「Infra」频道最新
- Bloom Energy Q3 营收 12.4 亿美元超预期，上调全年指引至 44-46 亿 — Beth_Kindig · 2026-10-23
- PHP 漏洞 24 小时修复超百万服务,仍有约 4000 万暴露在线 — FanaHOVA · 2026-10-23
- 交易员驳「AI 循环融资」论：新增电力全被溢价长期订光 — JOBhakdi · 2026-10-23
- 爆料：新架构下 Cerebras 跑 K3 级模型或只需 10 片晶圆 — bookwormengr · 2026-10-23
- 英伟达单日暴跌 7.21% 报 212.31 美元，市值仍守 5.2 万亿 — michalmalewicz · 2026-10-23
- Serverless 本质是计费模型：有状态计算该怎么按用量收费 — s4chinraja · 2026-10-23