腾讯混元把 770B 模型压进 214 GiB:四权重五比特
TencentHunyuan · x · 2026-09-22
腾讯混元团队披露如何将 Hy4 preview(770B 参数)的权重从约 1.5TB 压缩到 214 GiB,同时保留能力与推理速度。参数量不变,压缩的是权重的表示方式:
- Sherry 是量化算法,STQ10 是存储格式,MIX-STQ10 是混合精度分配方案。
- 核心技巧:每四个权重一组,取值限定在 {-d, 0, +d} 且恰好一个为零,相当于「四个权重五个比特」,再利用零位置编码进一步压缩。
- 团队成员、知乎作者 yghstill 详细解释了工程实现细节。
「Infra」频道最新
- Codex 移除 GPT-5.6 Sol 极速档,疑为 GPT-6 Sol 发布前兆 — imjustnewatai · 2026-09-22
- 从 2 张 3090 升到 4 张能解锁什么?本地玩家求算账 — fgoricha · 2026-09-22
- 24G 内存 MacBook 跑 Qwen-Image 本地生图:一张要 5-6 分钟 — vista8 · 2026-09-22
- Cerebras CEO：做到 500 亿营收才懂黄仁勋五万亿有多难 — rohanpaul_ai · 2026-09-22
- 456GB 的 DeepSeek v4.1 本地跑出 40 tok/s,混合推理方案公开 — HankYeomans · 2026-09-22
- 开源项目 Agent Substrate:子秒级挂起恢复,大规模智能体运行时 — rakyll · 2026-09-22