开发者实测 NVIDIA 版 Deepseek V4 NVFP4:1M 上下文下显存占用 96%
HankYeomans · x · 2026-09-05
一位开发者在 X 上分享了自己数小时内的实测过程:在 NVIDIA 提供的 Deepseek V4 NVFP4 量化版本上做参数摸索。目前跑出的配置为 1M token 上下文、显存占用 96%、batch size 2048,并附上了截图。作者表示还有更多配置待验证,但认为这是一次很有收获的学习过程。对于关注大模型 FP4 量化部署与极限上下文推理的人来说,是一份真实的性能边界参考。
「Infra」频道最新
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- kernel 全面跑赢 cuBLAS 不重要,快速迭代调优才是关键 — blelbach · 2026-10-23
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23