Red Hat 发布 Kimi K3 量化版：FP4/FP8 加速推理，质量几乎无损
_akhaliq · x · 2026-08-01
Red Hat AI 为月之暗面的 Kimi K3 模型发布了针对不同硬件优化的量化版本，旨在加速本地推理并提升吞吐量。
- NVFP4 版本：专为 Blackwell 架构打造，将 MoE 层量化为 4-bit。评测显示质量几乎无损，GPQA 成绩仅从 93.5 微降至 91.0。
- FP8-Block 版本：针对 Hopper 架构（H100/H200）优化，利用原生 Tensor Core 提供高吞吐量，并配合 vLLM 提供 Day Zero 支持。
目前这些量化权重已在 Hugging Face 上开源，推荐使用 vLLM 进行部署。
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16