Red Hat 发布面向 Hopper 的 Kimi-K3 FP8 量化权重
_akhaliq · x · 2026-07-29
Red Hat AI 发布了一个面向 Moonshot Kimi-K3 的 FP8BLOCK 量化 checkpoint，主打在 Hopper 架构上跑得更高效。
- 这个版本针对 NVIDIA H100/H200 做了适配，利用 Hopper Tensor Core 原生支持的 FP8 提升吞吐。
- 官方还表示已经有 vLLM day-zero 支持，方便直接部署。
- Hugging Face 模型卡说明：量化主要作用在 MLP 和 MoE experts 层；由于形状不匹配，attention 层未量化。
- 仓库带有完整量化流程、MIT 许可证和评测结果，属于比较实用的推理部署材料。
「Infra」频道最新
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单台 DGX Spark 跑 Nemotron 3.5 Bolt,16 路并发推理演示 — NVIDIAAI · 2026-10-16