Qwen3.8 27B 本地实测：RTX Spark 上解码 19.3 tok/s、准确率 100%
draginol · x · 2026-10-19
博主 draginol 分享了在 NVIDIA RTX Spark N1X（Surface Laptop Ultra，6144 核 Blackwell RTX GPU、20 核 CPU、64GB 内存、Windows）上运行 Qwen3.8 27B Q4KM（35K context，Locama GGUF）的本地推理成绩：
- Prefill：664 tok/s（8K context）
- Decode：19.3 tok/s（回答中实测）
- First token：1.98s（1K prompt）
- Accuracy：100%（80 项中 80 项正确），测试期间出现一些热节流
他评价 Qwen3.8 27B 是这个档位的"金标准"。此前他还测试过同机上的 12B 参数模型可作对照。对关注端侧部署的人来说，这是一份少见的消费级 Blackwell 设备跑 27B 模型的公开参考数据。
「Infra」频道最新
- Qwen 3.8 27B 实测登陆 NTX Spark：Surface Laptop Ultra 本地跑主流模型 — draginol · 2026-10-19
- 博主：自己付 API 账单后才发现本地模型真香，一键生成装机文档 — draginol · 2026-10-19
- IBM 高管：美国 AI 领导力卡在电力许可与机器人规模上 — ingliguori · 2026-10-19
- Matthew Green 追问：前沿大模型集体不可用时怎么办？ — matthew_d_green · 2026-10-19
- 开源语义缓存 HotKV 实测:Claude 调用省 70%,答案质量只降约 6 个点 — HotKV-Ltd · 2026-10-19
- 网友质疑 Anthropic 算力紧张，频繁限流难撑虚拟科学家 — gerardsans · 2026-10-19