594B 模型跑进两台 DGX Spark:本地 AI 日报披露 37.9 tok/s 实测
AIFlow_ML · x · 2026-11-18
Local AI Daily(2026-11-18 期)汇总本地部署关键进展:
- Inkling 2 Small(Thinking Machines,594B 总参/17B 激活,Apache-2.0)此前需四台 DGX Spark,如今两台即可运行:结合 TensorFold 与 drafter、约 2.2-bit 量化包,实测 128K 上下文下 37.9 tok/s。
- 一个 drafter 方案把 27B 模型在单台 Spark 上从 11.9 提速到 78.2 tok/s。
- 一位开发者比较后退还了 512GB Mac Studio:同为 DeepSeek V4.1 Flash,四台 GX10 多会话总吞吐 330-847 tok/s,Mac 仅 137-148 tok/s,但 Mac 赢在待机功耗(约 5W vs 215W)与冷启动(36s vs 约 150s)。
- 还提到 llama.cpp 的 PR #32407,通过调整 K/V 读取顺序提升 L2 缓存命中率。
日报对每个数字标注来源类型(实测复现 vs 厂商宣称)。
「Infra」频道最新
- Agent 一次任务几十次模型调用,哪些值得用前沿模型? — samcharrington · 2026-11-18
- 博客详解 TorchTPUs:与 OpenXLA 等旧方案的差异拆解 — algo_diver · 2026-11-18
- Gary Marcus 关注英伟达 10-Q 申报延迟数周,称此异常极不寻常 — GaryMarcus · 2026-11-18
- 台积电查客户账本:超信用额度须付现金才能锁定产能 — SumitGup · 2026-11-18
- Cloudflare Worker 静态资源免费用:单文件 25MB、每版本最多 2 万个文件 — ezshine · 2026-11-18
- 微调模型推理被忽视:LoRA/KV 范式争论中藏着大机会 — JoshPurtell · 2026-11-18