vLLM 支持 RAM offload,4 张 R9700 本地跑通 DeepSeek-V4 视觉实验版
sloptimizer · reddit · 2026-09-30
Reddit 用户 sloptimizer 分享:得益于 tcclaviger 的贡献,vLLM 新增了 RAM offloading 支持,让前沿大模型在本地部署变得可行。作者成功在 4 张 AMD R9700 上运行了原始的 DeepSeek-V4-Flash-Vision-Exp。
帖内附完整可复制的 podman 启动命令,关键参数包括:
- --tensor-parallel-size 4 配合 --enable-expert-offload --expert-offload-mem 160 实现专家权重卸载到内存
- --kv-cache-dtype fp8、--block-size 256、--max-model-len 256000 优化显存占用与长上下文
- dspark 投机解码(numspeculativetokens=3)加速推理
- 启用 prefix caching、chunked prefill、auto tool choice 与 deepseekv4 解析器
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16