TensorFold:本地跑开源模型的推理引擎,实测 874 tok/s
AIFlow_ML · x · 2026-11-17
TensorFold 是一个本地 AI 推理产品(Apache-2.0、OpenAI/Anthropic API 兼容),支持在自有 GPU 上用原生 Metal/CUDA/HIP/Vulkan 跑 Qwen、Nemotron、GLM、LFM 等开源模型。官方公布了具名硬件的实测数据:RTX PRO 6000 Blackwell 上 Nemotron 3.5 Lightning 解码达 874 tok/s(带 draft 投机解码 + 4-bit 量化);NVIDIA GB10 上 prompt 复用延迟 90–110ms;两台 M5 Ultra 上 GLM-5.3-Flash 八路并发聚合 199 tok/s。技术亮点包括投机解码(propose-verify-commit)、prompt 复用、跨多机连接的模型分片,还为 Omarchy 提供 CUDA 模型配方、正在做 ComfyUI 集成。
「Infra」频道最新
- 投资人预判:英伟达财报若偏好,AI 交易反遭殃 — pdamodaran · 2026-11-17
- AMD 高管访谈:数十亿 AI Agent 将持续推高 CPU 需求 — firstadopter · 2026-11-17
- 用户炮轰 Nvidia:嘴上推本地 AI,128GB 显存标准十年不变 — AIFlow_ML · 2026-11-17
- 美商务部与司法部联合声明:对 AI 算力公司 Megaspeed 展开调查 — ShakeelHashim · 2026-11-17
- Cloudflare 开源无 Chromium 的 agent 浏览器引擎 Kitesurf — shoumikgoswami · 2026-11-17
- Apple M4 实测「层内投机解码」:猜 token 太难,反慢 14% — azterizm · 2026-11-17