Hy 官方 AMA 干货:Flash 需 96GB 显存+128GB 内存,量化细节全公开

allegedlyalienated · reddit · 2026-11-21

有人从 Hy 团队 AMA 中整理出跑 Hy4 Flash 的实用信息:

硬件要求:96GB 显存 + 128GB 内存即可跑 Flash——主权重和注意力放 GPU,部分专家层 offload 到系统内存,Engram 表也可驻留内存;Engram 参数不计入 12B 激活参数,每层有独立 n-gram 表。

量化细节(对 MoE 量化从业者的长回复):

推理引擎:llama.cpp 支持「近期」落地,正在与 vLLM 和 SGLang 紧密合作。

所属事件:腾讯混元 Reddit AMA 详解 Hy4 与 Flash 细节(4 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →