腾讯将 1.5TB 模型压至 200GB,通过分层校准保精度
ChrisGPT · x · 2026-08-29
腾讯展示了惊人的模型压缩效率,将 Hy4 preview 从 1.5TB 压缩至 200GB 且基准测试几乎不受影响。其核心创新在于利用校准数据动态决定每一层的压缩强度:不敏感层被激进压缩至 1.31 bit,而敏感层则保持在约 2 bit,从而在体积缩减的同时防止模型崩塌。这种基于层敏感度的差异化量化策略实现了极高的效率提升。
所属事件:混元 Hy4-preview 官方 1-bit 量化:1.5TB 压至 200GiB(5 条相关)→
「Infra」频道最新
- Fluidstack 高优招聘模块化研发电气工程师,自建 AI 基础设施前沿 — MxMnr · 2026-10-16
- Fluidstack 招模块化电气工程师:把数据中心从工地搬进工厂 — MxMnr · 2026-10-16
- 黄仁勋做客 BG2 播客:谈 AI 收入能否撑起 Capex 与 2027 瓶颈 — elonmusk · 2026-10-16
- Mistral 本地推理基建机架曝光:DGX Spark、Mac Studio 等混搭 — gregmushen · 2026-10-16
- 英伟达携手瑞典 Wallenberg,Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16