腾讯混元 AngelSlim：Hy4 模型压缩至 214GB 并支持异构协同
腾讯混元 · wechat · 2026-09-01
腾讯混元团队发布 AngelSlim 量化方案，成功将 Hy4-preview 模型（原重约 1.5TB）压缩至 214GB，大幅降低硬件门槛。核心技术包括：
- Sherry 稀疏三值量化：针对 MoE 路由专家进行激进压缩，平均每权重仅 1.25 比特。
- MIX-STQ10 混合精度策略：按层敏感度动态分配比特位，在压缩率与精度间取得平衡。
评测显示，量化版模型在长文、数学、代码等任务上能力损失极小，部分检索任务甚至优于原版。此外，团队联合 prima.cpp 验证了异构设备联合推理，将 214GB 模型在笔记本（4090）与服务器（4xA4000）间分布式运行，速度达 1.02 token/s，证明无需昂贵同构集群即可运行旗舰大模型。
相关 GGUF 库与代码已开源。
所属事件:腾讯混元 AngelSlim 量化将 Hy4-preview 压缩至 214GB(5 条相关)→
「Infra」频道最新
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家涨到 36 家 — ying11231 · 2026-10-18
- Oracle CDS 飙至 300bps 创纪录，被称 AI 交易倒下的第一块多米诺 — arthurcolle · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18