单卡 4090 跑 Inkling 2 Mini 达 ~200 tok/s:FP8+NVFP4 实测配方

eesahe · reddit · 2026-11-21

作者把 Thinking Machines 新发布的 Inkling 2 Mini 在单张 RTX 4090 上跑到约 190-220 tokens/s(开箱仅 117)。做法:给 vLLM 打了几个小补丁(尚不支持 4090 跑该模型),采用 NVFP4 专家权重(W4A16)+ FP8 注意力/头/嵌入(W8A16)+ FP8 KV cache。24GB 显存可容纳 35k 上下文,样例 prompt 困惑度损失约 0.4%,后续会补充更多测试。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →