4 张 DGX Spark 约 2.8 万美元跑 DeepSeek 官方权重：1M 上下文 66 tok/s
ricklamers · x · 2026-10-26
ricklamers 展示一套面向大众的本地「无限制」AI 方案：用 4 台 DGX Spark（全部硬件约 2.8 万美元）以 switchless TP4 方式运行 DeepSeek V4.1 Flash 1017 的官方完整权重（无量化）。
关键参数与实测：
- 1M 上下文，总 KV cache 16M，可同时跑 16 路并发会话，加载后每台 Spark 剩余约 15 GB 显存
- 思考开启、非贪心解码：单流散文 66 tok/s，2 并发 96 tok/s，16 并发 173 tok/s
- 100% 深度 needle 测试通过
- 提供 ABLIT 可选开关：在 10-35 层的 attn.wob 上嫁接拒绝方向消融 overlay，其余权重保持原样；需在 Hugging Face 登录接受条款后用 HFTOKEN 启用，首次切换下载约 1.1 GB sidecar 并重建约 80 GB rank cache；已用 tools/validate.py 逐字节校验，65k/262k token 处 needle 抽检速度与原版一致
作者定位其用途之一是家庭网络的网络安全检测。
「Infra」频道最新
- Meta 拟融资最高 950 亿美元，全力押注 AI 扩张 — Polymarket · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 GPU 融资租赁，史上最大规模 — firstadopter · 2026-10-26
- NBIS CEO:上周起债市对 Neocloud 关门,改靠客户预付款续命 — zephyr_z9 · 2026-10-26
- CoreWeave 五年期 CDS 飙至约 1100bps，市场担忧 AI 泡沫以信贷危机开场 — kimmonismus · 2026-10-26
- AI 需求重塑云计算：算力稀缺、长期合约取代按需模式 — DavidLinthicum · 2026-10-26
- 黄仁勋：AI 工厂软件每 GPU 每年收约 2000 美元，百万卡即 20 亿美元 — LinusEkenstam · 2026-10-26