专题 · FULL STORY

RTX Spark 实测：本地跑大模型靠谱吗

10 月中旬，开发者 Brad Wardell 在 Surface 等设备上实测 NVIDIA RTX Spark 方案，验证 27B 模型本地运行的可行性；随后又在 RTX 5080 游戏本上进一步测试，发现受显存限制解码速度仅约 9 tok/s，为本地大模型热潮泼了一盆冷水。

2026-10-18 ~ 2026-10-19 · 2 集 · 15 条

第 1 集 · 开发者实测 RTX Spark：Surface 本地跑 27B 模型可用(2026-10-18,11 条)

10 月 18-19 日，开发者 Brad Wardell（X 账号 @draginol）连续发布多篇帖子和视频，分享其在 Surface 硬件上通过 NVIDIA RTX Spark N1X（6144 核 Blackwell GPU、20 核 CPU、64GB 统一内存、Windows 系统）运行本地大模型的实测结果，测试对象包括他个人首选的 Qwen 3.8 27B 与 Gemma 4 12B（Q4KM 量化），并邀请网友在 X 上直接交流质疑。他的总体结论是：RTX Spark 在本地 AI 推理上明显强于游戏笔记本电脑，27B 模型在该平台可以实际使用。

已确认

  • Qwen 3.8 27B（稠密模型）实测：prefill 约 671 tok/s（1K 上下文、跳过部分计算），decode 流式输出约 22 tok/s，首 token 延迟约 2.4 秒；在 RTX Spark 上解码 19.3 tok/s，据称准确率 100%。
  • Gemma 4 12B（Q4KM）在 RTX Spark 上 prefill 1522 tok/s、decode 31.131.6 tok/s。
  • Surface Laptop 上还进行了更严苛的 Extended 模式测试，Qwen 27B 解码 20.7 tok/s。
  • draginol 演示在 Surface Pro Ultra 上用本地 Qwen 3.8 27B 快速开发出一个可玩的太空射击小游戏（波次制小行星射击，含计分与生命值），作为实用性演示。
  • 他对 Surface Laptop Ultra 的硬件做工评价极高，称其做工水准出色，并发布了快速上手与视频走查，展示如何用这套组合在本地完成各类 AI 任务。

结论与观点

  • draginol 判断 RTX Spark 类外接算力设备在本地 AI 推理上碾压游戏本；游戏本两头不讨好——既跑不好大参数模型，跑小模型又不经济。
  • 他同时指出，若主要跑 12B 甚至 4B 小模型，Qualcomm、AMD 或 Intel 的 NPU 方案成本低得多、更划算。

为什么重要

  • 这是针对 NVIDIA RTX Spark 类设备（DGX Spark 级外接算力）少见的第三方实测数据，给出了 27B 与 12B 模型在 64GB 统一内存消费级平台上的真实吞吐量参考，对考虑本地部署大模型的用户有直接参考价值。

第 2 集 · RTX 5080 游戏本实测本地大模型：27B 受限显存解码仅 9 tok/s(2026-10-19,4 条)

@draginol 在搭载移动版 RTX 5080、Core Ultra 7 255HX 和 31GB 内存的惠普 Omen 游戏本上实测本地推理：运行 Qwen 27B 时预填充可达 441 tok/s，但因显存装不下完整模型，解码仅 9.1 tok/s，性能明显受损；改跑 Gemma 4 12B（Q4KM GGUF，45K 上下文）则预填充约 1930 tok/s，解码约 49.4 tok/s。结果显示小模型在游戏本上可用性更好，而 27B 档受显存制约明显。