Inkling 获首日 FP4 推理支持
zhyncs42 · x · 2026-07-16
LightSeek 的 TokenSpeed 为 Thinking Machines Lab 新发布的 **Inkling** 提供了首日可用的 FP4 推理支持，覆盖 NVIDIA GB200/GB300 的 NVFP4 以及 AMD MI350X/MI355X 的 MXFP4。 帖子强调这是建立在 PyTorch 基础设施之上的统一推理内核方案，并与 vLLM 协作，目标是把高性能、可复用的推理 kernel 推进到开源 AI 生态里；同时给出了一些实现点：原生 FP4 serving、统一 kernel 架构、MTP、优化 attention 和异构 KV cache。