体积暴降 91%！Unsloth 实现 Qwen3.8 本地运行
danielhanchen · x · 2026-08-13
Unsloth AI 宣布通过全新的 Dynamic 1-bit 量化技术，成功将庞大的 Qwen3.8-2.4T-A95B 模型从 4.9TB 压缩至 397GB（体积缩小 91%），使其能够在本地设备上运行。
- 量化突破：通过选择性量化层并减少码本条目（降至 1.1875 bits per weight），在大幅缩减体积的同时保留了模型精度，适用于大模型的后训练量化（PTQ）。
- 硬件要求：压缩后的模型可在 410GB+ 的 RAM/VRAM 环境下运行，用户可通过 Unsloth Desktop 或 llama.cpp 部署。
- 模型能力：Qwen3.8 包含视觉和思考能力，支持 256K 上下文（最高可达 1M tokens），其性能可与 GPT-5.6 Sol 媲美。
所属事件:Unsloth新量化技术让Qwen3.8暴降91%(3 条相关)→
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16