ZGX Fury 实测:Qwen3.8-Flash-Next 跑出 351 tok/s,本地 Agent/RAG 全流程演示
Sam Witteveen · youtube · 2026-11-16
YouTube 博主 Sam Witteveen 发布 HP ZGX Fury 工作站的深度实测(HP/NVIDIA 赞助),用内存数学、推理阶段拆解到实际工作负载检验这台本地 AI 主机的极限。
视频要点(带时间戳):
- 内存账:HBM vs 统一内存,模型能不能装下
- 推理原理:prefill vs decode、投机解码、并发用户数,以及为什么 Agent 需要更快的 token
- 实测速度:图中显示 Qwen3.8-Flash-Next 351 tok/s、Nemotron 3.5 Super VL 496 tok/s、GLM 5.3 Flash 283 tok/s、DeepSeek V4 Flash 226 tok/s
- 应用场景:离线编码 Agent、私有本地 RAG、音视频转写、视频生成
适合关注本地部署和端侧推理的人作为性能参考。
「Infra」频道最新
- llama.cpp 无训练稀疏解码:128k 上下文解码提速 1.72 倍 — topppggg · 2026-11-16
- llama.cpp 用 HF Buckets 与 HF Jobs 重构 CI,应对日均 35 个 PR 的压力 — ggerganov · 2026-11-16
- 印度 Sarvam 推出 Token Factory:在本土托管全套开源模型推理 — HarveenChadha · 2026-11-16
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16