Kimi-K2.6 INT4与NVFP4量化在8×RTX Pro 6000本地推理实测
TheZachMueller · x · 2026-10-14
用户 keennay 在 LocalMaxxing 平台上传了 Kimi-K2.6 在 8×RTX Pro 6000 Blackwell(768GB 显存)上的推理基准,平台新集成了 llm-inference-bench 与矩阵式运行支持,可在一页内对比不同负载与并发下的表现。
- 测试用 vllm 引擎,分别跑 INT4 与 NVIDIA NVFP4 量化,上下文覆盖 8K–256K,并发 1–128。
- INT4 下 prefill 吞吐从 8K 上下文的 5,801 tok/s 降至 123K 的 4,141 tok/s;单路 decode 约 63 tok/s(8K)到 43 tok/s(123K);8K 上下文 8 并发可达 285 tok/s 总吞吐,更高并发因超出 KV cache 未测。
- NVFP4 支持到 256K 上下文,16 并发时总吞吐约 360 tok/s。作者计划后续用 NVIDIA Dynamo 的 AIPerf 工具复测。
「Infra」频道最新
- 实测三款本地 LLM 应用的网络行为：对话不外传，但应用会联网 — TheOyinbooke · 2026-10-14
- 实拍 Google Ironwood TPU 机架亮相 Google Cloud 活动 — firstadopter · 2026-10-14
- 三星展出 HBM5 实物与 Custom HBM 方案，xPU 捆绑设计亮相 — firstadopter · 2026-10-14
- AWS Lambda 推出 Web Functions:单环境支持 128 并发请求的 HTTP 处理器 — tlakomy · 2026-10-14
- 液冷与 800VDC 时代:博世、Rittal 展出大型 manifolds 方案 — BenBajarin · 2026-10-14
- OCP 全球峰会赞助商墙曝光:英伟达、AMD、谷歌云等数百家齐聚 — firstadopter · 2026-10-14