antirez 演示 DGX Spark 硬盘流式跑 5000 亿参数模型,还能做 QA
antirez · x · 2026-09-14
Redis 作者 antirez 晒出一段 DGX Spark 演示:通过 SSD 流式加载执行一个半万亿(5000 亿)参数的模型,「勉强可用于 QA」,做编码则不太行,除非挂着跑一整夜。他同时承认 README 的 prefill 速度相比 Metal 还慢得多,属于实现层面问题,会在下次 commit 中尝试修复。这是端侧大模型内存流式加载方向的少见一手实测,来自高权重开发者,对本地部署极客有参考价值。
所属事件:antirez 实测单台 DGX Spark 流式跑 5000 亿参数模型(3 条相关)→
「Infra」频道最新
- AI 烧钱加深自由现金流缺口，微软靠发债 250 亿美元守住正值 — Kr00ney · 2026-10-31
- Google 太空数据中心首次跑通:轨道 TPU 完成 Gemma 推理并回传 — ns123abc · 2026-10-31
- Google Cloud 花费上限正式上线：新增 API、实时成本报告与每月自动重置 — rseroter · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- ClickHouse 曝未认证远程代码执行漏洞 CVE-2026-116366 — Hacubu · 2026-10-31
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31