四台 DGX Spark 一周调优,推理吞吐从 26.85 提到 56.71 tok/s
AIFlow_ML · x · 2026-11-21
博主 AIFlowML 分享了用四台 DGX Spark 做本地推理调优一周的成果:代码从 26.85 提升到 56.71 tok/s。
关键优化点:
- 用 depth-3 的 draft 模型做投机解码
- FP8 attention,带来 +12% 提升
- 为小规模 all-reduce 打通更快的路径,再 +16%
- 把 8 用户并发下最慢的首次 token 时间从 64 秒压到约 1 秒,靠的是调高序列上限
结论:先把手里的四台机器调到极限,再考虑买第五台。
「编程与Agent」频道最新
- 日本独立开发者热议:个人版「软件车库」到了可以小规模亮相的时候 — 4310sy · 2026-11-21
- 旅游平台上线免鉴权只读 MCP 服务器,分享通过 Claude 目录审核的三条经验 — Wooden_Body_7891 · 2026-11-21
- 开源会议 AI 应用 call.md 走红:实时录制转录分析,已获 2.1k star — tom_doerr · 2026-11-21
- 开发者实测:Windows 观测应用弃 GLM 5.3 Flash 改用 Inkling 2 Small — michellechen · 2026-11-21
- iOS 开发者用 Claude Code 让 AI 通关星穹铁道全程,5 天花费约 300 美元 — Ok_Chipmunk_8734 · 2026-11-21
- Reddit 用户放弃自动化链路:把 31 个 Agent 做成各司其职的小应用 — NexelythCollective · 2026-11-21