vLLM 首日支持 Thinking Machines 新循环 Inkling 模型
vllm_project · x · 2026-11-21
vLLM 宣布对 Thinking Machines 新发布的循环(looped)Inkling 模型提供首日(day-0)支持:该架构含 12 个共享核心层,每 token 重复跑 3 次,循环之间通过门控消息传递信息。
这是 vLLM 对这一全新模型范式的快速适配,后续帖子还给出了具体的 kernel 与延迟优化数据。
「Infra」频道最新
- Thinking Machines 发 Inkling 2 Mini:26B 循环 MoE 本地模型,支持 1M 上下文 — mervenoyann · 2026-11-21
- Ollama CEO 撰文:企业采用开源模型的需求持续增长 — ycombinator · 2026-11-21
- 英伟达单日暴跌 13.17%,股价触及 126.75 美元 — jfischoff · 2026-11-21
- vLLM 实现 TML 新模型 Day-0 支持,GB200 解码延迟降至 3.84ms — vllm_project · 2026-11-21
- vLLM 解析 Inkling 循环架构:共享权重但各轮 KV 状态彼此独立 — vllm_project · 2026-11-21
- Starcloud 自建太空数据中心花 250 万美元,已把 H100 送上天 — chetanp · 2026-11-21