Ling-3.1-flash 560B-A25B 开源,网友谋划用 4 台 DGX Spark 跑
BerryBlush_Rogers691 · reddit · 2026-10-14
蚂蚁 Ling 团队展示 Ling-3.1-flash 把粗略需求变成 UI 和交互原型的 demo,权重已上传 Hugging Face(inclusionAI/Ling-3.1-flash)。模型共 560B 参数、每 token 激活 25B(MoE)。
- 官方部署示例为 8× H200 或 4× GB300,发帖人想知道用 4 台 DGX Spark 组网跑是否现实。
- 用途是编码与 UI 迭代:生成→审查→改,单用户延迟比批量吞吐更重要。
- 求助点:该选什么量化方案以留足上下文与运行时开销、用什么 serving 栈在四台 Spark 间切分、工具调用与长上下文时延迟是否会不可用。
帖子征集跑过大 MoE 多机推理者的实测 prefill/decode 数据,是端侧/本地部署大 MoE 的典型可行性讨论。
所属事件:蚂蚁开源 Ling-3.1-flash：560B 参数、1M 上下文、MIT 许可(8 条相关)→
「Infra」频道最新
- 开源社区担忧:AI 数据中心挤占产能,本地跑大模型将成少数人特权 — Dante_77A · 2026-10-15
- Cerebras CEO：OpenAI 因我们产能不足才转向英伟达 — firstadopter · 2026-10-15
- 大家都在卷 decode,本地 LLM 的 prefill 提速反而没人管 — Zeeplankton · 2026-10-15
- patio11 初试多智能体开发:明确是未来,推理量将暴涨 — IgorCarron · 2026-10-15
- Hugging Face Hub 模型张量检查提速最高 20 倍，DeepSeek-V3.2 从 9.2 秒到 0.45 秒 — victormustar · 2026-10-15
- 日本 RTX 5060 Ti 16GB 价格飙 144% 至 $1292，黑五恐难有折扣 — chemist_slime · 2026-10-15