社区把 Inkling-2-Mini 移植到单张 RTX 3090:128k 上下文、DSpark 提速

Material_Tone_6855 · reddit · 2026-11-21

Reddit 用户将原本仅支持 Hopper/Blackwell 的 Inkling-2-Mini(NVFP4/MXFP8 权重)成功移植到单张 RTX 3090(24GB,SM86),无需重新量化,代码为 vLLM PR #69028 的 fork(ampere-port 分支)。

关键改动:

单卡实测:DSpark 解码 112–147 tok/s(无投机为 91)、prefill 约 2500–2700 tok/s(至 33k)、131072 上下文、KV 池可容纳 207k token(8 并发)、权重占 17.55 GiB,embedding 卸载仅损失约 1% 速度。8 路并发(2k–17k token)无报错,tool calling 正常。注意:未用 FP8 KV+DSpark 重跑质量 benchmark,投机接受率约 20–29%,显存已用到约 23.8/24GB。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →