开源推理引擎 TensorFold 发布 1.0：RTX PRO 6000 上跑出 874 tok/s
Jasonio · x · 2026-11-03
TensorFold for Mac 1.0.0 发布，这是该开源本地推理项目的首个稳定版，Linux 和 Windows 版即将跟进。项目主打用自有 GPU（原生 Metal / CUDA）快速跑开源模型，支持 Qwen、Nemotron、GLM、LFM 等，提供 OpenAI 兼容 API。
公布的实测数据：RTX PRO 6000 Blackwell 上 Nemotron 3.5 Lightning 解码达 874 tok/s（投机解码 + MLX 4-bit）；NVIDIA GB10 上 prompt 复用延迟 90–110ms；两台 M5 Ultra 并行跑 GLM-5.3-Flash 八路并发合计 199 tok/s。支持并行解码、prompt 复用、跨 Mac 组网共享模型，另有面向企业的 StarLight 机队管理方案。
1.0 版新增紧凑的 Ask 栏（窗口选择 + 分享预览 + 本地文本提取）、后台常驻菜单栏、连接健康与收件箱改进，引擎可独立于 App 更新。
「Infra」频道最新
- 斯坦福教授论证太空算力散热可行：黑球辐射平衡只需解决导热 — shaunmmaguire · 2026-11-03
- AI 债务交互地图：25 方 58 项义务，公众同时是赌徒、债主与房东 — W1RELESS · 2026-11-03
- 开发者把存储桶从 GCP 迁到 Cloudflare,每月省 700 美元 — aniketmaurya · 2026-11-03
- Lattice FPGA 营收创纪录增 118%：AI 数据中心需求成主引擎 — BenBajarin · 2026-11-03
- Cohere 论文：相邻 token 共享 20-45% 专家，MoE 投机解码低批量也划算 — rohanpaul_ai · 2026-11-03
- PyTorch 2.15 发布：NCCL 新后端转正，Blackwell 上 NVFP4 解码提速 — PyTorch · 2026-11-03