双 3090 跑 Inkling 2 Mini:557K 上下文 + 视觉约 100 tok/s
Sisuuu · reddit · 2026-11-22
作者(全程用 Claude Code 写帖)分享了在 2×RTX 3090(无 NVLink/P2P)上本地部署 Thinking Machines 的 Inkling 2 Mini(26.4B looped MoE,3.4B 激活)的完整实践:
- vLLM 不可行:官方 NVFP4/MXFP4 检查点需 sm90+,补丁后可加载但 Ampere 上没有可用的专家 GEMM 内核。
- NInfer-all 可行:Unsloth UD-IQ4XS 量化 + DSpark draft 模型 + 视觉,双卡跑到 557K 上下文、约 98-104 tok/s;单卡 174K、约 127 tok/s。
- 关键配置:该家族 KV cache 仅 BF16(约 36 KiB/token)且全部落在第一张卡,只把 routed experts 分给第二张卡;--tensor-split 1,127 + --vision-residency overlay + --prefill-chunk 1024 达到最大上下文。
- 前缀缓存是长文本最大红利:63K 文档预填充一次后,新开会话 TTFT 仅 0.85 s(62,973/62,996 tokens 命中缓存,--host-cache-mib 32768)。
- 性能数据:4K 预填充 2,371 tok/s;测了 5K/63K/162K 的 needle-in-haystack 均正确。
- 结论:默认参数已是最快,调大 prefill chunk、更多 draft 数等尝试均无帮助;双卡因专家权重走 PCIe 经 host RAM 而略慢。
「Infra」频道最新
- John Langford 评 FBT 笔记:定点迭代收敛与量化隐状态缓存 — JohnCLangford · 2026-11-22
- 能自动化迁移多租户 GPU 集群的公司不到 10 家,算力市场论是幻想 — AccBalanced · 2026-11-22
- 跑数万 agent 沙箱要几万计算节点,swarm 架构图曝光 — hwchase17 · 2026-11-22
- Teknium 曝 Hermes 用户 token 构成:92.4% 是缓存读取 — Teknium · 2026-11-22
- 马斯克晒仅用半颗 AI4 芯片实现无游戏引擎实时 AI 视频生成 — jamesdouma · 2026-11-22
- Sentdex 想白嫖 150 张 H100,而 Shkreli 正出钱收购同款 — Sentdex · 2026-11-22