本地推理引擎 TensorFold 1.3.2:96 个 PR,DeepSeek-V4.1 Metal 解码提速 6-17%
AIFlow_ML · x · 2026-11-21
本地 LLM 推理引擎 TensorFold 发布 1.3.2 版本,自 1.3.0 以来合并 96 个 PR、关闭 31 个 issue,重点更新:
- DeepSeek-V4.1 在 Metal 上支持图像输入,M5 Ultra 单/双流解码提速 6-17%;
- Hy4-flash 登陆 Metal;dots.mocr 支持 CUDA 图像,OCR 端点支持 HIP 读 PDF;
- Muse Spark Open 可跑双 GB10,Qwen3.8 Flash Next 在 Intel Xe2 上支持 MTP 与 prompt 快照;
- Idol 的八叉树与高斯解码器原生跑 M5 Metal;tensorfold chat 支持流式输出。
官网展示实测数据:Nemotron 3.5 Lightning 在 RTX PRO 6000 Blackwell 上贪心解码 874 tok/s,双 M5 Ultra 八并发聚合 199 tok/s,每项标注具体 release 与硬件条件。支持 Metal/CUDA/HIP/Vulkan,Apache-2.0 开源,兼容 OpenAI/Anthropic API。
「Infra」频道最新
- Vespa 创始人创办 Hornet:打造 agent 时代检索基础设施 — jobergum · 2026-11-21
- Nebius 透露 Q3 算力协议涨至每兆瓦 2500 万美元以上 — Beth_Kindig · 2026-11-21
- NVIDIA 发布稀疏注意力八条设计准则,Top-k 复用提速 2.4 倍 — NVIDIAAI · 2026-11-21
- llama.cpp 新增 llama serve 命令,Inkling 2 Mini GGUF 一行即起服务 — simonguozirui · 2026-11-21
- Ollama CEO 撰文:企业采用开源模型的需求持续增长 — ycombinator · 2026-11-21
- 英伟达单日暴跌 13.17%,股价触及 126.75 美元 — jfischoff · 2026-11-21