antirez 演示 DGX Spark 硬盘流式跑 5000 亿参数模型,还能做 QA
antirez · x · 2026-09-14
Redis 作者 antirez 晒出一段 DGX Spark 演示:通过 SSD 流式加载执行一个半万亿(5000 亿)参数的模型,「勉强可用于 QA」,做编码则不太行,除非挂着跑一整夜。他同时承认 README 的 prefill 速度相比 Metal 还慢得多,属于实现层面问题,会在下次 commit 中尝试修复。这是端侧大模型内存流式加载方向的少见一手实测,来自高权重开发者,对本地部署极客有参考价值。
所属事件:antirez 实测单台 DGX Spark 流式跑 5000 亿参数模型(3 条相关)→
「Infra」频道最新
- 分析:DeepSeek 与 Kimi 两次冲击如何改写美国超大规模 Capex 竞赛逻辑 — StewartalsopIII · 2026-09-14
- 开源小工具 Free My VRAM:ComfyUI 空闲自动释放显存,30GB 降至不足 1GB — WazaqG · 2026-09-14
- 英伟达牵手Palantir，瞄准超5000亿美元主权AI市场 — Beth_Kindig · 2026-09-14
- 梗帖盘点:本地 LLM 玩家的四大不可言说之痛 — Saren-WTAKO · 2026-09-14
- 美国第二大律所自购英伟达服务器，本地微调开源权重模型 — ai · 2026-09-14
- Andrew Chen 晒本地 AI 工作站：5090 eGPU 加双 DGX Spark 混合路由 — andrewchen · 2026-09-14