社区把 Inkling-2-Mini 移植到单张 RTX 3090:128k 上下文、DSpark 提速
Material_Tone_6855 · reddit · 2026-11-21
Reddit 用户将原本仅支持 Hopper/Blackwell 的 Inkling-2-Mini(NVFP4/MXFP8 权重)成功移植到单张 RTX 3090(24GB,SM86),无需重新量化,代码为 vLLM PR #69028 的 fork(ampere-port 分支)。
关键改动:
- PDL 限制到 SM90+、SM90 以下禁用 TMA、convmix 用 Triton 回退、视觉塔改用 FA2、最低算力要求降到 80
- Ampere 无硬件 E4M3 转换,软件模拟 FP8 KV cache(编码器在 1000 万随机值上与 torch.float8e4m3fn 完全一致)
- DSpark 投机解码可用(恰需 7 个投机 token,draft KV 保持 bf16)
- 省显存组合拳:移除视觉塔(纯文本)、prefill chunk 256、FP8 KV、显式 KV 预算、embedding 表卸载到 CPU
单卡实测:DSpark 解码 112–147 tok/s(无投机为 91)、prefill 约 2500–2700 tok/s(至 33k)、131072 上下文、KV 池可容纳 207k token(8 并发)、权重占 17.55 GiB,embedding 卸载仅损失约 1% 速度。8 路并发(2k–17k token)无报错,tool calling 正常。注意:未用 FP8 KV+DSpark 重跑质量 benchmark,投机接受率约 20–29%,显存已用到约 23.8/24GB。
「Infra」频道最新
- OpenAI 迷恋 token 效率:下次飞跃或等到能扛住百万用户才发布 — VraserX · 2026-11-21
- 重庆赛力斯超级工厂:工业大脑调度 3000 台机器人造电动车 — HaydnBelfield · 2026-11-21
- 36M 参数开源工具让 LLM 本地「看」视频,CPU 即可跑 — Safe-Escape197 · 2026-11-21
- GPU 租金持续上涨:75% 利用率下 2.3-2.9 年即可回本 — BenBajarin · 2026-11-21
- 云厂商 Capex 指数级增长 vs AI 营收线性增长,市场为何不买账 — BenBajarin · 2026-11-21
- 两年间预训练与 RL 成本骤降,开发者实测对比感叹变化 — himanshustwts · 2026-11-21