7张3090极限压榨：成功跑通DeepSeek-V4量化版
_akhaliq · x · 2026-08-01
开发者分享使用 7 张 3090 显卡成功运行了 unsloth/DeepSeek-V4-Flash-0731-GGUF 的 Q8 量化版本。这表明通过社区量化方案，消费级硬件集群已能勉强承载庞大推理模型的本地部署。
「Infra」频道最新
- AI股市回调预警：内存芯片股杠杆过高，投资者债务创纪录 — binarybits · 2026-08-01
- DeepSeek-V4-Flash 量化版 A100 实测：仅占 15.8GB 显存 — Different-Pickle1021 · 2026-08-01
- 美光与海力士因周期创伤谨慎扩产，涨价成产能增加关键信号 — _sholtodouglas · 2026-08-01
- 月租4.6万美元跑Kimi K3：单B300推理速度达450 token/s — casper_hansen_ · 2026-08-01
- 马斯克预测:长期 99.99% 的 AI 算力将迁移至太空 — XFreeze · 2026-08-01
- 联发科数据中心芯片业务发力：TPU v8t将贡献超20亿美元营收 — BenBajarin · 2026-08-01