770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术
coolmum18 · reddit · 2026-10-16
腾讯 Hunyuan 量化团队成员 yghstill 发文拆解，如何把约 1.5TB 权重的 770B 参数 Hy4 Preview 压缩到 214 GiB，参数量不变、纯改变权重表示，无需再训练。
核心方法
- Sherry 算法 + STQ10 格式：每 4 个权重取值 {-d, 0, +d} 且恰含一个零，4 个零位置 × 8 个符号组合 = 32 种模式，编成 5 bit，即每权重 1.25 bit；加 FP16 共享 scale 后为 1.3125 bit，混合精度全模型平均约 2.38 bit/权重。
- 按敏感度分配精度：77 个 MoE 层各 256 个路由专家，专家权重压得最狠；48 个敏感层用 IQ2XXS、29 个不敏感层用 STQ10，同 bit 预算下误差优于全程 IQ1M。
- Full-Hessian 敏感度评分：H = XXᵀ 保留非对角相关性，与对角 imatrix 排序的 Spearman 相关仅 -0.115；按每字节误差收益贪心选层。
- scale 与零点联合拟合：加权最小二乘与 imatrix 加权误差交替优化，1200 行真实专家权重上三轮即把加权重建误差降低约 90%。
- 推理落地：为 patched llama.cpp 写了 STQ10 CUDA kernel，速度约等于 IQ1M；MRCR 检索几乎不掉，数学小幅下降，对比同 bit 预算的 UD-IQ1M 全面领先（MRCR 高 5 分以上）。
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16