本地推理引擎 TensorFold 1.3.2:96 个 PR,DeepSeek-V4.1 Metal 解码提速 6-17%

AIFlow_ML · x · 2026-11-21

本地 LLM 推理引擎 TensorFold 发布 1.3.2 版本,自 1.3.0 以来合并 96 个 PR、关闭 31 个 issue,重点更新:

官网展示实测数据:Nemotron 3.5 Lightning 在 RTX PRO 6000 Blackwell 上贪心解码 874 tok/s,双 M5 Ultra 八并发聚合 199 tok/s,每项标注具体 release 与硬件条件。支持 Metal/CUDA/HIP/Vulkan,Apache-2.0 开源,兼容 OpenAI/Anthropic API。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →