antirez 实测 DGX Spark SSD 流式跑半万亿参数模型，约 9 t/s
antirez · x · 2026-09-14
antirez 演示在单台 DGX Spark 上通过 SSD 流式加载运行 DeepSeek v4.1 Flash（约半万亿参数）：生成速度约 9 t/s，双机 RDMA 可达约 22 t/s。他认为用于问答「勉强可用」，用于编码则不行——除非挂机跑一整晚。相关实现已提交进其 DwarfStar 项目。
所属事件:antirez 实测单台 DGX Spark 流式跑 5000 亿参数模型(3 条相关)→
「Infra」频道最新
- AI 烧钱加深自由现金流缺口，微软靠发债 250 亿美元守住正值 — Kr00ney · 2026-10-31
- Google Cloud 花费上限正式上线：新增 API、实时成本报告与每月自动重置 — rseroter · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- ClickHouse 曝未认证远程代码执行漏洞 CVE-2026-116366 — Hacubu · 2026-10-31
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31
- 低成本双卡 3060 12GB 本地推理方案:显存性价比压过贵一倍的 5060 — Frizzy-MacDrizzle · 2026-10-31