128GB 小机跑 124B 模型：社区实测量化、MTP 与内核调优全记录
alifcoder · x · 2026-09-16
作者梳理了 NVIDIA 开发者论坛上关于在单台 DGX Spark（128GB）上运行 Ling 3.0 Flash 的 70 条帖子，汇总社区围绕 int4/fp4 量化、MTP、自定义 kernels、KV cache、SGLang 与 vLLM 的实测结果：既有真实性能数据，也暴露了内存泄漏等失败案例与对应修复。整体展示了开源社区飞轮把一个'看似跑不动'的配置调到表现出色的过程。
「Infra」频道最新
- 华为发布全球首个 3D 数据中心：四层垂直堆叠，交付周期砍半 — teortaxesTex · 2026-09-16
- 苏格兰新规:超 50MW 数据中心须强制提交环评 — nordicinst · 2026-09-16
- 微软押注本地 AI:从 800 美元 Copilot+ PC 到万亿参数桌面超算 — ryanshrout · 2026-09-16
- PlanetScale Traffic Control 新玩法：按应用名分配数据库资源 — DanielLockyer · 2026-09-16
- 欧洲 AI 创业者算力紧缺,VC 送 GPU 将成标配增值服务 — nellimorgulchik · 2026-09-16
- 一张图讲清 CPU、GPU 与 TPU 的分工差异 — mdancho84 · 2026-09-16