Surface 上 RTX Spark 实测 Gemma 4 12b:解码 31.6 tok/s
draginol · x · 2026-10-19
开发者 draginol 在搭载 NVIDIA RTX Spark N1X(6144 核 Blackwell GPU + 20 核 CPU、64GB 内存)的 Surface Laptop Ultra 上实测 Gemma 4 12b Q4KM 量化模型:
- Prefill:1636 tok/s(8K context)
- 解码:31.6 tok/s
- 首 token 延迟:971ms(1K prompt)
- 准确率:100%(80 项中 80 项通过)
展示了新一代 Windows Copilot+ 端侧硬件本地跑 12B 级模型的实际表现。
「Infra」频道最新
- Qwen 3.8 27B 实测登陆 NTX Spark：Surface Laptop Ultra 本地跑主流模型 — draginol · 2026-10-19
- 博主：自己付 API 账单后才发现本地模型真香，一键生成装机文档 — draginol · 2026-10-19
- IBM 高管：美国 AI 领导力卡在电力许可与机器人规模上 — ingliguori · 2026-10-19
- Matthew Green 追问：前沿大模型集体不可用时怎么办？ — matthew_d_green · 2026-10-19
- 开源语义缓存 HotKV 实测:Claude 调用省 70%,答案质量只降约 6 个点 — HotKV-Ltd · 2026-10-19
- 网友质疑 Anthropic 算力紧张，频繁限流难撑虚拟科学家 — gerardsans · 2026-10-19