2x3090 本地跑 Hy4-Flash:Q3 量化下 PP 63、TG 22 tokens/s
EmilPi · reddit · 2026-11-19
作者实测在 2xRTX3090 + 128GB DDR4 上用 llama-server 跑 AngelSlim 的 Hy4-Flash-GGUF Q3K 量化,认为它终于能与 DSv4-Vision-Exp、Qwen3.8-27B-Uncensored 掰手腕,且输出更省 token。
关键配置与结果:
- --ctx-size 131072 -ctk q80 -ctv q80 --no-mmproj-offload -cmoe --moe-cache-mib 33768(后者是 llama.cpp 的 expert streaming,受 Strata 启发)
- 实测 PP 约 60-65 tokens/s,TG 约 20-24 tokens/s
- 依赖 llama.cpp PR #32517,rebase master 无冲突
附完整配置文件与命令行,可照抄复现。
「Infra」频道最新
- Fchollet:经济中潜藏的 token 需求近乎无限,唯一刹车是成本 — fchollet · 2026-11-19
- Meta 高管:美国若不自主掌握算力,将动摇经济与国家安全根基 — BenBajarin · 2026-11-19
- OpenAI 推出 Background Mode 折扣窗口:放宽时限最多省 40% token 费用 — OpenAIDevs · 2026-11-19
- EchoMoE 只传增量不传全量,MoE 推理跨节点流量砍 58% — sivareddyg · 2026-11-19
- JEDEC 公布 DDR6 规范:起步 12.8 GT/s、带宽提升 50%,支持 128Gb 颗粒 — gnukeith · 2026-11-19
- AWS 推出 SageMaker JumpStart 模型排行榜:质量速度成本同口径对比 — AWS ML Blog · 2026-11-19