TensorFold:本地跑开源模型的推理引擎,实测 874 tok/s

AIFlow_ML · x · 2026-11-17

TensorFold 是一个本地 AI 推理产品(Apache-2.0、OpenAI/Anthropic API 兼容),支持在自有 GPU 上用原生 Metal/CUDA/HIP/Vulkan 跑 Qwen、Nemotron、GLM、LFM 等开源模型。官方公布了具名硬件的实测数据:RTX PRO 6000 Blackwell 上 Nemotron 3.5 Lightning 解码达 874 tok/s(带 draft 投机解码 + 4-bit 量化);NVIDIA GB10 上 prompt 复用延迟 90–110ms;两台 M5 Ultra 上 GLM-5.3-Flash 八路并发聚合 199 tok/s。技术亮点包括投机解码(propose-verify-commit)、prompt 复用、跨多机连接的模型分片,还为 Omarchy 提供 CUDA 模型配方、正在做 ComfyUI 集成。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →