腾讯混元 AngelSlim 量化将 Hy4-preview 压缩至 214GB
腾讯混元团队 9 月 1 日发布 AngelSlim 量化方案，将旗舰模型 Hy4-preview 从约 1.5TB 压缩至 214GB，体积缩减约 7 倍、权重压缩约 85%，且精度损失极小。方案支持跨机器 GPU 拼接与异构协同，显著降低了本地与分布式部署的硬件门槛。
已确认
- 核心技术为自研 Sherry 稀疏三值量化，对 MoE 路由专家激进压缩，将权重降至约每位 1.25 比特
- 配合 MIX-STQ1.0 混合精度策略，由校准数据决定各层压缩粒度
- 精度损失极小：据 @QuixiAI 转述的测试，MCP Atlas 分数从 83.7 降至 83.2
- @智东西 报道称压缩后在长文理解、多轮检索等任务上与原版基本持平
- 方案支持跨机器 GPU 拼接与异构协同，让多台设备算力协同运行大模型；GGUF 等本地格式适配正在推进中
为什么重要
- 1.5TB 级模型原本超出绝大多数个人乃至多数机构的硬件承受范围，214GB 使消费级或多机集群部署成为可能
- 稀疏三值量化路线若在 Hy4 上稳定成立，为其他超大 MoE 模型的轻量化提供了可复用的方法论
2026-09-01 ~ 2026-09-02 · 5 条相关
一手来源
- 腾讯混元 AngelSlim：Hy4 模型压缩至 214GB 并支持异构协同 — 腾讯混元 ·
- 腾讯混元推轻量版：权重压缩 85%，性能持平 — 智东西 ·
- 腾讯 Sherry 量化法将 Hy4 模型缩减 7 倍 — QuixiAI ·
- 【源头】腾讯混元 AngelSlim：Hy4 模型压缩至 214GB 并支持异构协同 — 腾讯混元 · 2026-09-01
- 【源头】腾讯混元推轻量版：权重压缩 85%，性能持平 — 智东西 · 2026-09-01
- 【源头】腾讯 Sherry 量化法将 Hy4 模型缩减 7 倍 — QuixiAI · 2026-09-01
- 腾讯 Hy4 预览版通过 Sherry 量化缩至 214GB — alejandroll10 · 2026-09-02
另有 1 条近重复转述:ccerrato147