实测：RTX Spark 跑 27B 模型尚可，游戏本不适合本地 AI
draginol · x · 2026-10-19
博主 draginol 在 NVIDIA RTX Spark（6144 核 Blackwell GPU、64GB 统一内存）上实测 Gemma 12B（Q4KM）：prefill 1522 tok/s、decode 31.1 tok/s、首 token 990ms，速度明显偏慢。
但关键结论是：RTX Spark 能较好运行 27B 模型，而 27B 正是模型开始能干实事的门槛。相比之下游戏本内存带宽优势只在能完全塞进 GPU 显存的小模型上才体现，因此游戏本并不是本地 AI 的好选择；小模型任务用更便宜的 NPU 方案即可。
所属事件:RTX Spark 实测:本地跑 27B 模型尚可,性能胜游戏本(4 条相关)→
「Infra」频道最新
- 从业者：KV cache 压缩已让 1M 上下文可控,年内应见 2.5M 模型 — khademinori · 2026-10-19
- 马斯克发帖吐槽：租 AI 算力到底是一种什么体验 — elonmusk · 2026-10-19
- 系列博客开篇：图解 Tensor Core 的算术原理 — akbirthko · 2026-10-19
- 周报盘点：五家厂商在五个层级给 Agent 加控制，桌面 AI 最受关注 — shashib · 2026-10-19
- Hugging Face 开源 AI 周开幕：ExecuTorch 黑客松设三赛道 — Thom_Wolf · 2026-10-19
- 开发者实测:本地模型已能胜任代码审查第一轮,省下前沿 API 费用 — draginol · 2026-10-19