实测 DGX Spark 找回 4.1 GiB 隐藏内存,KV 池扩到 3.6 倍
marian_nmt · x · 2026-10-02
Marcin Junczys-Dowmunt 发布完整博客,讲解如何在 NVIDIA DGX Spark 上找回被 Linux 吞掉的 4.1 GiB 内存,并给出代码仓库和 runbook。两个技巧叠加:
- 64 KiB 内核:Linux 为每个物理页维护 struct page,4 KiB 页在 128 GB 机器上 vmemmap 元数据开销巨大;换用 NVIDIA 官方 64 KiB 内核后基础页数减少 16 倍,回收 2.098 GiB。可保留原 4 KiB 内核作为 GRUB 回退。
- 回收显示预留:无头 GB10 上 2046 MiB 的显示预留可归还为普通 Linux 内存,再回收 2,046 MiB。
合计每台 Spark 多出 4.096 GiB 应用可用内存,使 GLM-5.3-Flash 的 KV 池从 262,144 token 提升到 937,984 token(3.58 倍)。作者指出此前社区只分别覆盖过其中一种方法,两招并用是首次完整记录。
所属事件:DGX Spark 实测找回被 Linux 隐藏的 4.1GiB 内存(7 条相关)→
「Infra」频道最新
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19