560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通

BerryBlush_Rogers691 · reddit · 2026-10-18

用户 sudoing 将 560B MoE(每 token 激活 25B)的 Ling 3.1 Flash 分布加载到 4 台 NVIDIA DGX Spark 上:由于该模型在他的 2 台 Spark 上放不下,一位德国网友出借了 4 机环境。因为当时 vLLM 还没有官方 FP4 构建,他采用 Atomic Chat 首发的 Q4 GGUF 量化,通过 llama.cpp RPC 跨 4 台机器运行。他预期带宽和速度会很痛苦,目标是与 124B 的 Ling 3.0 Flash 对比回答质量与实际等待时间,后续会公布性能数据。