两张 RTX 3090 跑 Inkling 2 Mini:557K 上下文 + 视觉,约 100 tok/s
Sisuuu · reddit · 2026-11-22
Reddit 用户分享在无 NVLink、无 P2P 的 2×RTX 3090 上本地运行 Thinking Machines 的 Inkling 2 Mini(26.4B 循环 MoE,3.4B 激活)的完整实测:
- vLLM 不可行:官方 NVFP4/MXFP4 检查点需 sm90+,打补丁后可加载但 Ampere 无可用专家 GEMM 内核
- NInfer-all 可行:Unsloth UD-IQ4XS 量化 + DSpark 投机解码 + 视觉,双卡跑到 557K 上下文、约 100 tok/s;单卡 174K、约 127 tok/s
- KV 缓存仅支持 BF16(约 36 KiB/token)且全在第一张卡, routed experts 可切分;--tensor-split 1,127 把每层 128 个专家留 1 个在 KV 卡上,最大化上下文
- 前缀缓存是长上下文真正的赢点:63K 文档首次 prefill 约 90 秒,之后新会话复用 RAM 缓存,TTFT 仅 0.85 秒(62,973/62,996 token 命中)
- 正确性:5K/63K/162K 大海捞针测试均通过
- 文中给出完整启动命令与调参记录(哪些参数无效、默认值已最快)
「Infra」频道最新
- AWS Lambda 支持 GPU 运行 LLM,网友调侃五位数账单新姿势 — evilsocket · 2026-11-22
- Boom 创始人造 42MW 燃气轮机,AI 算力抢疯燃气轮机 — dunkhippo33 · 2026-11-22
- Nemotron 3.6 Academia 即将登陆 llama.cpp:循环混合架构获原生支持 — maternion · 2026-11-22
- 稀疏 MoE 让 SSD 成本地 AI 瓶颈,Magnitude 引擎直读 NVMe 破 VRAM 墙 — rickasaurus · 2026-11-22
- OpenAI 工程师确认 GPT-Live 缓存亲和 bug,周一将推修复 — pbbakkum · 2026-11-22
- Lambda 用英伟达 CPO 交换机连万卡 GB300 集群,延迟最高降约 10% — Beth_Kindig · 2026-11-22