DGX Spark 上 DiffusionGemma 补丁并发 32 每秒 22 次结构化生成

bodonoghue85 · x · 2026-09-17

开发者 mmastrac 汇报了把 DiffusionGemma(扩散式解码的 Gemma 变体)改造成类 Jev 用法的最新进展:在一台 DGX Spark 上,几乎零调优的情况下,单个补丁式补全的 p50 延迟约 0.21 秒;并发 32 时,吞吐可达每秒约 22 次结构化生成。这一数据展示了扩散式解码在小型设备上跑高并发结构化输出的潜力。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →