腾讯混元推轻量版：权重压缩 85%，性能持平
智东西 · wechat · 2026-09-01
腾讯发布混元旗舰模型 Hy4preview 的轻量版，通过自研 Sherry 稀疏三值量化算法和 MIX-STQ1.0 混合精度策略，将模型权重从 1.5TB 压缩至 214GB。测试显示，压缩后模型在长文理解、多轮检索等任务上与原版基本持平，数学能力小幅回落。基于分布式推理框架 prima.cpp，团队验证了在异构设备（如 4090 笔记本与 A4000 服务器）上协同运行该模型的可行性，推理速度比单机 offload 提升约 6 倍。
所属事件:腾讯混元 AngelSlim 量化将 Hy4-preview 压缩至 214GB(5 条相关)→
「Infra」频道最新
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家涨到 36 家 — ying11231 · 2026-10-18
- Oracle CDS 飙至 300bps 创纪录，被称 AI 交易倒下的第一块多米诺 — arthurcolle · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18