DeepSeek V4 Flash 量化版本本地性能实测：Q3 比 Q8 快数倍
Spicy_mch4ggis · reddit · 2026-08-04
一位开发者在 128GB VRAM 的硬件环境下，对 DeepSeek V4 Flash 的 Unsloth Q8 和 Q3 xxs 量化版本进行了基准测试。
测试结果显示，与需要卸载的 Q8 版本相比，Q3 版本在提示词处理上快了 3.5 倍，在解码上快了 2 倍。作者正在评估这种速度提升是否值得承受质量损失。此外，作者还分享了关于推测解码、200k 上下文表现以及思考预算设置等技术细节的探讨。
所属事件:DeepSeek V4 Flash 量化实测：低精度版本大幅提速且无损质量(2 条相关)→
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16