单卡 4090 跑 Inkling 2 Mini 达 ~200 tok/s:FP8+NVFP4 实测配方
eesahe · reddit · 2026-11-21
作者把 Thinking Machines 新发布的 Inkling 2 Mini 在单张 RTX 4090 上跑到约 190-220 tokens/s(开箱仅 117)。做法:给 vLLM 打了几个小补丁(尚不支持 4090 跑该模型),采用 NVFP4 专家权重(W4A16)+ FP8 注意力/头/嵌入(W8A16)+ FP8 KV cache。24GB 显存可容纳 35k 上下文,样例 prompt 困惑度损失约 0.4%,后续会补充更多测试。
「Infra」频道最新
- Reddit 讨论:数千文件级 GPU 批量任务大家都怎么跑? — mrtonymat · 2026-11-21
- ComfyUI 读速卡在 400MB/s:换 NVMe 后模型加载不见快 — C-h_A_o-S · 2026-11-21
- Inkling 2 Mini 开源模型 Mac 本地跑 125 tok/s,号称同尺寸最强 — simonguozirui · 2026-11-21
- 同卡同模型 4 倍吞吐:Surogate 2765 tok/s 对比 llama.cpp 683 — AIFlow_ML · 2026-11-21
- Compound 测算 AI 减速情景:若营收腰斩,Nvidia 等或跌逾四成 — tengyanAI · 2026-11-21
- DatologyAI 开源训练数据加载器 Zephon:换 GPU 数不再打乱数据 — josh_wills · 2026-11-21