3090+64G 内存跑 QFN 量化达 70-80 t/s,作者求购 3-3.5k 欧元 Strix Halo 建议
makkalot · reddit · 2026-11-12
Reddit 用户分享本地部署经验：在 3090 显卡加 64GB 内存的配置上运行 Strata/QFN(iq3xss)量化模型，速度达 70-80 tokens/s，已成为日常主力，但因显存内存被占满，机器无法兼做他用。
作者正考虑购置一台专用推理机，关注欧盟市场约 3000-3500 欧元的 AMD Strix Halo 迷你主机，询问是否有同配置用户能分享 QFN 量化的实际速度，判断 70-80 t/s 是否现实。
「Infra」频道最新
- 曝马斯克押注 Terafab:单一工厂年产 1 太瓦硅芯片,为全球现有约 30 倍 — XFreeze · 2026-11-12
- IITM 教授将物理嵌入学习过程，大幅削减 AI 仿真算力成本 — ravi_iitm · 2026-11-12
- 按需提精度：小模型解码不确定时动态升级权重位数 — Mohammed Nayeem Khan · 2026-11-12
- MiniMax H3 图像模型被压进单张 32GB AMD 卡:4K 出图 33 秒 — evp-cloud · 2026-11-12
- 能源科技 2025 年吸金近 2000 亿美元，数据中心负荷考验电网接入 — ingliguori · 2026-11-12
- vLLM-Omni 首日支持 MiniMax H3-Image：4K 出图仅 0.87 秒 — vllm_project · 2026-11-12