Hy 官方 AMA 干货:Flash 需 96GB 显存+128GB 内存,量化细节全公开
allegedlyalienated · reddit · 2026-11-21
有人从 Hy 团队 AMA 中整理出跑 Hy4 Flash 的实用信息:
硬件要求:96GB 显存 + 128GB 内存即可跑 Flash——主权重和注意力放 GPU,部分专家层 offload 到系统内存,Engram 表也可驻留内存;Engram 参数不计入 12B 激活参数,每层有独立 n-gram 表。
量化细节(对 MoE 量化从业者的长回复):
- down projection 因激活离群值更敏感,分配更多位宽
- 位宽按 Hessian 敏感度分配;偏好 per-tensor 分配而非 per-expert 混合精度(多数推理引擎把所有专家当一整块矩阵处理)
- router 在 QAT 全参训练中同步训练;采用全参 QAT 而非 LoRA(未做过 LoRA 实验)
- 激活参数降到 3B 左右时,推理深度、长上下文追踪和工具调用可靠性会最先退化;2-bit PTQ 会比三值 QAT 更早崩坏
推理引擎:llama.cpp 支持「近期」落地,正在与 vLLM 和 SGLang 紧密合作。
所属事件:腾讯混元 Reddit AMA 详解 Hy4 与 Flash 细节(4 条相关)→
「Infra」频道最新
- AI 网关正成生产级 AI 栈的关键控制层:八大核心能力清单 — goyalshaliniuk · 2026-11-21
- RTX Spark 旧金山首发会排队试玩,本地模型成主角 — JFPuget · 2026-11-21
- Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存 — EmilPi · 2026-11-21
- Cloudflare 上架多模态模型 clairic-flash,登 Hugging Face 热榜 — Cloudflare · 2026-11-21
- Inkling-2-Mini 本地部署门槛低至 9GB 内存,各级量化需求一览 — NielsRogge · 2026-11-21
- 观点:只有基建硬资源卷到死透,应用层的春天才会到来 — yangyi · 2026-11-21