vLLM Day-0 支持 Flint：单卡 GB200 跑出 500 TPS
_rockt · x · 2026-10-22
vLLM 官方宣布 Day-0 支持 Recursive（Richard Socher 公司）的首个模型 Flint。
- Flint 是 40B 参数 MoE，每 token 仅激活约 2.5B 参数，多数层用滑动窗口注意力，上下文 262K token
- 单张 GB200 上单请求解码约 500 tokens/s，即使带 100K context 也无需投机解码；提供 NVFP4（量化感知训练）与 BF16 两种 checkpoint
- 按 Socher 的介绍，Flint 主打本地快速编码：MacBook Pro 上 125+ tokens/s，RTX Spark 上 150+，由其自动化研究系统 Eureka Machine 在 4 个月内从零构建，权重已在 HuggingFace 开放
- 博客给出了 Day-0 Docker 镜像 vllm/vllm-openai:flint 与 vllm serve 的完整启动命令，支持正在合入 vLLM 主线（#62938），工具调用与 reasoning 解析复用 glm47 parser
「Infra」频道最新
- 高通手机外业务明年增速看 60%，汽车与嵌入式挑大梁 — pdamodaran · 2026-10-22
- PHP 漏洞爆发后，一家厂商公布 WebAssembly 运行时验证方案 — MickeySteamboat · 2026-10-22
- Ollama 携手 Crusoe：新开源模型上线到生产仅用两周 — ollama · 2026-10-22
- 投资人称 CUDA 护城河正被悄然瓦解：Codex 可直接重写 AMD 内核 — paigeinsf · 2026-10-22
- 爆料：二三线推理服务商已有能做出 90%+ 算力毛利的模型配方 — zephyr_z9 · 2026-10-22
- NVIDIA 发布 CPO 硅光交换与 Vera Rubin 架构，押注物理 AI — thealexbanks · 2026-10-22