Thinking Machines 发布 Inkling 2 Small:4 卡跑 38 万并发 KV cache
LiTianleli · x · 2026-11-16
Thinking Machines 官方宣布推出 Inkling 2 Small，AA Intelligence Index 得分 31，较前代大幅提升，已可在 Tinker 上进行微调与推理，完整权重即将开源发布。
社区随即放出了本地部署实测（4x RTX Pro 6000，exl3-4bit 量化，与 bf16 top agreement 97.5%）：
- 16 路并发，KV cache 并发达 38 万 tokens（单路 6.46M）
- decode 速度 224 tok/s（c1）
- prefill 8150 tok/s
帖文称其为「美国开源的希望」，权重发布后值得进一步关注。
所属事件:Thinking Machines 推出开源 Inkling Small 2，4 卡可承载海量 KV 缓存(2 条相关)→
「Infra」频道最新
- 一块训练器喂四种芯片:ai& 实测异构硬件 RL,HTTP 同步仅慢 6.5 倍 — DavidBennett__ · 2026-11-16
- 三星美光 SK 海力士 RAM 反垄断案获准推进：18 个月涨价 697% — wen_ragnarok · 2026-11-16
- 开源工具 Cynapse 发布：为本地 LLM 做真实性与偏见体检 — _AustinCalvert_ · 2026-11-16
- WEKA 开源 kvlab：用真实 Agent 流量重放测 KV 缓存卸载收益 — AccBalanced · 2026-11-16
- 多条 LLM 推理吞吐基准工具盘点:Dynamo AIPerf 等 — AccBalanced · 2026-11-16
- KubeCon 热点：推理成为 Kubernetes 核心议题，五大组件全景拆解 — AccBalanced · 2026-11-16