180B 模型塞进单台 DGX Spark:2.39-bit 量化仅损失 4.5%
TheZachMueller · x · 2026-10-02
开发者 DJLougen 发布了 Qwen3.8-Flash-Next 的超低比特量化版本(Mooney),已上架 Hugging Face。
- 专家层 2.125-bit,全模型平均 2.39 bits/weight
- 下载体积 92 GB,内存占用约 39 GiB
- 保留 BF16 原始成绩的 95.5%
这意味着一个 1800 亿参数的 MoE 模型可以在单台 DGX Spark 上运行。作者感谢 Lambda 与 HF 的 Zach Mueller 提供算力支持。
所属事件:开发者将 180B 模型塞进单台 DGX Spark(2 条相关)→
「Infra」频道最新
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16
- 芯片业铁律:出货量说了算,Intel 输在丢了需求 — TheKanter · 2026-11-16
- 台北101点亮「台湾❤️Jensen」,科技界集体声援黄仁勋 — liu_mingyu · 2026-11-16
- Nous 高管提醒:勿用 GPT 900k 变体,272k 后加收费用 — Teknium · 2026-11-16
- CUDA 矩阵乘法优化实战:从朴素实现干到 cuBLAS 93.7% 性能 — RisingSayak · 2026-11-16
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16