单卡跑起DeepSeek V4 Flash
live4evrr · reddit · 2026-07-10
有人用定制版 vLLM-Moet 在单张 RTX 6000 Pro 上成功运行 DeepSeek V4 Flash，并称在单卡上还能设置 130K 上下文。帖子还提到需要约 150GB 内存才能完成 safetensor 分片加载，加载完成后模型可放进显存运行。
live4evrr · reddit · 2026-07-10
有人用定制版 vLLM-Moet 在单张 RTX 6000 Pro 上成功运行 DeepSeek V4 Flash，并称在单卡上还能设置 130K 上下文。帖子还提到需要约 150GB 内存才能完成 safetensor 分片加载，加载完成后模型可放进显存运行。