探讨在 Blackwell 架构上部署 DeepSeek 的量化方案
Best_Sail5 · reddit · 2026-08-13
开发者求助如何使用 vLLM 部署 DeepSeek 模型，并探讨在最新的 Blackwell 架构上采用 NVFP4 量化是否为目前的最佳实践。
「Infra」频道最新
- Google高管：7年前的TPU仍保持100%利用率 — rohanpaul_ai · 2026-08-13
- RTX 4070 跑 MiniMax H3 视频生成：加速方案让渲染快 3 倍 — Fun_Walk_4965 · 2026-08-13
- RTX 5060 Ti 16GB 本地跑 Qwen2.5-14B 实测：生成速度达 44 t/s — Primary_Olive_5444 · 2026-08-13
- 单 Docker 容器跑通本地实时语音 AI 助手 — tom_doerr · 2026-08-13
- Browserbase获融资：打造可编程浏览器，让AI成为网络新用户 — jeff_weinstein · 2026-08-13
- 获3.9k星：GitHub开源CUDA编程与GPU优化系统教程 — tom_doerr · 2026-08-13