腾讯 220B Hy4-flash 量化版压到 49GB,64GB 显存即可跑
gladkos · reddit · 2026-11-19
社区发布了腾讯 MoE 模型 Hy4-flash 的极限量化 GGUF 版本,权重占用从官方版的 70GB 降到 49.1GB,可在 64GB 显存上运行。
- 模型结构:220B 总参数 = 155.5B 网络(512 个路由专家、每 token 激活 16 个、共 11.3B 激活参数)+ 63.5B 的 Engram(可学习的 bigram/trigram 嵌入哈希表);支持文本与图像,1M token 上下文。
- 量化方案:专家权重约 2.3 bits,其余部分 Q80;Engram n-gram 表单独存文件,每 token 只读几 KB,可留在 SSD 上不占显存。
- 对比官方版:腾讯自家的 AngelSlim GGUF 需 72–105GB 内存,更适合 96/128GB 机器;本 repo 单文件专为大 64GB 内存机器构建。
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19