Diffusers 原生接入 Nunchaku 4 比特扩散推理
dl_weekly · x · 2026-07-28
Hugging Face 发布博文称，Diffusers 现在已经原生集成 Nunchaku 的 SVDQuant W4A4 kernels，用户可以像普通模型一样通过 frompretrained() 直接加载 4-bit diffusion checkpoint。
文章强调这次集成的目标，是让现代图像生成模型更容易跑在消费级 GPU 上：
- 峰值显存最高可降 50%
- 推理速度提升 30%–80%
文中还提到，配套的 diffuse-compressor 工具可以让用户自己量化新架构，并把结果发布成标准的 Diffusers 仓库，减少对单独推理库和本地 CUDA 编译的依赖。
「Infra」频道最新
- Google Cloud 为 Cloud Run 加入限额和沙箱运行环境 — steren · 2026-07-28
- Bloomberg 图谱：Nvidia 位于 AI 循环融资中心 — SumitGup · 2026-07-28
- Moonshot 开源 MoonEP，做 MoE 专家并行负载均衡 — SeunghyunSEO7 · 2026-07-28
- POCKET 项目：让 350 亿参数大模型在 iPhone 上运行 — pmttyji · 2026-07-28
- SK hynix 称 AI 需求“难以置信”，存储热潮仍在延续 — firstadopter · 2026-07-28
- OpenAI agent 演示、开源权重潮与 AI 碳成本重塑企业判断 — jonerp · 2026-07-28