单张 4090 成功运行 Deepseek v4 flash Q2 版本
jack_smirkingrevenge · reddit · 2026-08-15
作者分享在单张 RTX 4090 (64GB RAM) 上运行 Deepseek-v4-flash-0731 的 Q2/Q3 量化版实验。通过使用 UnslothAI 的 checkpoint 并配合 Blaze 内核，以及将高频专家模型驻留在 CPU 内存中的技巧，实现了可用速度的推理（约 8 tps）。作者指出偶尔的专家缺失会导致磁盘读取使速度降至 5 tps，未来计划通过 dspark 和更多内存优化，预计将发布相关技术文章。
「Infra」频道最新
- Meta 选择 MLX 做本地推理,Muse Spark Open 登陆 Mac Studio — awnihannun · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16
- Artificial Analysis 首测 Vera Rubin NVL72:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Vera Rubin NVL72 实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16