Inkling 2 Small 推理数据：32K 上下文多轮 Agent 场景破千 TPGS
vllm_project · x · 2026-11-13
vLLM 公布 Inkling 2 Small 的 DSpark 推理细节：概率性起草在 T=1.0 下接受长度约 3.5。
- TP8、单用户 100 tok/s 的多轮 Agent 场景：32K 上下文约 1,070 output TPGS，128K 上下文约 700
- 用 inkling-verify 验证准确性：NIAH 测到 1M（满配）、MMMU-Pro、HLE
- 支持 LoRA 与 RL（SkyRL）
所属事件:vLLM 上线 Inkling-2-Small：594B MoE、百万上下文、单卡 1100 tok/s(2 条相关)→
「Infra」频道最新
- 印度为何难预训练大模型？网友：缺的是投资不是GPU — teortaxesTex · 2026-11-13
- 曝黄仁勋辞任 Nvidia CEO，现金流转换率骤降至 -63% — SumitGup · 2026-11-13
- Intel 携手 RadixArk 优化 SGLang，代码将回馈上游 — ying11231 · 2026-11-13
- 微软、AWS、Google 等全线服务集中宕机，DownDetector 报告激增 — zainhas · 2026-11-13
- vLLM 机架级共享 KV 池：高并发下命中率仍达 96.5-97% — vllm_project · 2026-11-13
- vLLM 优化 Rubin:DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍 — vllm_project · 2026-11-13