Red Hat 发布 Kimi K3 量化版：FP4/FP8 加速推理，质量几乎无损
_akhaliq · x · 2026-08-01
Red Hat AI 为月之暗面的 Kimi K3 模型发布了针对不同硬件优化的量化版本，旨在加速本地推理并提升吞吐量。
- NVFP4 版本：专为 Blackwell 架构打造，将 MoE 层量化为 4-bit。评测显示质量几乎无损，GPQA 成绩仅从 93.5 微降至 91.0。
- FP8-Block 版本：针对 Hopper 架构（H100/H200）优化，利用原生 Tensor Core 提供高吞吐量，并配合 vLLM 提供 Day Zero 支持。
目前这些量化权重已在 Hugging Face 上开源，推荐使用 vLLM 进行部署。
「Infra」频道最新
- 马斯克预测:长期 99.99% 的 AI 算力将迁移至太空 — XFreeze · 2026-08-01
- 联发科数据中心芯片业务发力：TPU v8t将贡献超20亿美元营收 — BenBajarin · 2026-08-01
- 单次任务烧掉 5000 万 token，开发者展示 Claude 3.5 Sonnet 真实账单 — msg · 2026-08-01
- 算力基建狂飙：一个机场面积能建多少数据中心？ — chrisalbon · 2026-08-01
- 7张3090极限压榨：成功跑通DeepSeek-V4量化版 — _akhaliq · 2026-08-01
- a16z：AI基础设施需求未见放缓，供应链瓶颈显现 — a16z · 2026-08-01