2x3090 本地跑 Hy4-Flash:Q3 量化下 PP 63、TG 22 tokens/s

EmilPi · reddit · 2026-11-19

作者实测在 2xRTX3090 + 128GB DDR4 上用 llama-server 跑 AngelSlim 的 Hy4-Flash-GGUF Q3K 量化,认为它终于能与 DSv4-Vision-Exp、Qwen3.8-27B-Uncensored 掰手腕,且输出更省 token。

关键配置与结果:

附完整配置文件与命令行,可照抄复现。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →