混元 Hy4-preview 官方 1-bit 量化:1.5TB 压至 200GiB
腾讯混元为 Hy4-preview(770B MoE)推出官方 1-bit 量化版本,将模型体积从 1.5TB 压缩至约 200GiB 的 GGUF 格式,压缩比约 7 倍,基准测试显示精度几乎无损,整体保留约 98% 性能。官方亲自下场提供高压缩比量化版本,显著降低了本地部署超大模型的存储门槛。
已确认
- 腾讯混元官方发布 Hy4 模型的 1-bit 量化版本(@lakySK)
- 压缩采用 MIX-STQ10 方法,从 1.5TB 压至约 200GiB GGUF,压缩比约 7 倍(@ChrisGPT、@RedditUsr2)
- 该方法并非统一低比特量化,而是将位宽分配视为优化问题:利用校准数据为每一层动态决定精度,不敏感层被激进压缩至 1.31-bit,敏感层保持在约 2-bit(@ChrisGPT)
- 量化后基准成绩:MCP Atlas 从 83.7 降至 83.2,SWE-Bench multi 从 82.9 降至 81.3(@lakySK)
- 与 BF16 相比多个基准精度损失极小,整体保留约 98% 性能(@lakySK、@RedditUsr2)
为什么重要
- 1.5TB 级别的超大 MoE 模型此前几乎无法在个人设备上存储和运行,压缩到 200GB 级别使本地部署成为可能
- 分层动态位宽分配的思路(校准数据驱动的非均匀量化)为其他超大模型的高压缩比量化提供了可借鉴方案
- 官方提供量化版本,意味着用户无需依赖社区量化即可获得精度有保障的轻量版本
2026-08-29 ~ 2026-08-30 · 5 条相关
一手来源
- 腾讯混元推 Hy4 官方 1-bit 量化,精度几无损失 — lakySK ·
- 腾讯 1.5TB 模型压至 200GB,精度几乎无损 — ChrisGPT ·
- 腾讯将 Hy4-preview 从 1.5TB 压缩至 200GB GGUF — RedditUsr2 ·
- 【源头】腾讯 1.5TB 模型压至 200GB,精度几乎无损 — ChrisGPT · 2026-08-29
- 腾讯将 1.5TB 模型压至 200GB,通过分层校准保精度 — ChrisGPT · 2026-08-29
- 【源头】腾讯混元推 Hy4 官方 1-bit 量化,精度几无损失 — lakySK · 2026-08-29
- 【源头】腾讯将 Hy4-preview 从 1.5TB 压缩至 200GB GGUF — RedditUsr2 · 2026-08-29
- 腾讯 Hy4 量化至 200GiB,770B 模型精度几无损 — TencentHunyuan · 2026-08-30