Red Hat 发布面向 Hopper 的 Kimi-K3 FP8 量化权重
_akhaliq · x · 2026-07-29
Red Hat AI 发布了一个面向 Moonshot Kimi-K3 的 FP8BLOCK 量化 checkpoint，主打在 Hopper 架构上跑得更高效。
- 这个版本针对 NVIDIA H100/H200 做了适配，利用 Hopper Tensor Core 原生支持的 FP8 提升吞吐。
- 官方还表示已经有 vLLM day-zero 支持，方便直接部署。
- Hugging Face 模型卡说明：量化主要作用在 MLP 和 MoE experts 层；由于形状不匹配，attention 层未量化。
- 仓库带有完整量化流程、MIT 许可证和评测结果，属于比较实用的推理部署材料。
「Infra」频道最新
- Bittensor 将 q 提至 0.75，放松中游 subnet 的发放门槛 — markjeffrey · 2026-07-29
- OpenRouter 的壁垒来自路由数据和持续迭代工具链 — mmurph · 2026-07-29
- GPU 现货租金高出合同价两倍，作者称超大云厂信用被错杀 — GavinSBaker · 2026-07-29
- OpenAI 在 API 中新增两款语音转写模型 — OpenAIDevs · 2026-07-29
- 新 MCP 服务让代理可直接用自然语言购买和管理代理 IP — Key_Economy3728 · 2026-07-29
- NVIDIA 分享在 Prime Intellect 上训练开源模型的 RL 指南 — NVIDIAAI · 2026-07-29