TensorFold 1.1.0 发布:M5 Ultra 上 205k 上下文预填充达 3962 tok/s

GabGarrett · x · 2026-10-19

本地推理工具 TensorFold 发布 1.1.0 版本,修复大量 bug,包括 Nemotron 在 M1-M4 上的加载、Super VL 工具调用、GLM 长对话缓存、流式延迟及外置硬盘模型扫描等问题,并新增原生 CUDA 模型支持。

有用户在 M5 Ultra(80 核、256GB 内存)上实测 Qwen3.8-Flash-Next-MLX-6bit-MTP 模型:205k 上下文预填充速度达 3962 tok/s(TTFT 约 52 秒),128k 上下文约 4018 tok/s;短上下文(2k-8k)可达 4700-4800 tok/s。解码速度为散文文本 170 tok/s、结构化输出 209 tok/s,TTFT 仅 62-63ms。