TensorFold 1.2.5 发布：本地推理引擎，Nemotron 3.5 达 874 tok/s
HankYeomans · x · 2026-11-09
开源本地推理引擎 TensorFold 发布 1.2.5 版本，主打在自有 GPU/Mac 上跑开源模型，原生支持 Metal 与 CUDA。
本次更新要点：
- 新增 TensorFold Web 本地浏览器应用，支持聊天、模型管理、学习与 benchmark
- CUDA 支持新增 LFM2.5-24B-A2B、Nemotron Parse、LightOnOCR-3 上 HIP
- Qwen3.8-27B MLX 8-bit 在 M5 Ultra 上冷启动 prompt 提速 18%，解码提速 7.6%
- 降低 Qwen CUDA stream 内存占用，改进会话缓存，修复 macOS PDF 渲染崩溃
官方公布的实测数据包括：Nemotron 3.5 Lightning 在 RTX PRO 6000 Blackwell 上解码达 874 tok/s；双 M5 Ultra 上 GLM-5.3-Flash 八并发合计 199 tok/s。
「Infra」频道最新
- Nvidia 位居 SPY 第二大持仓，却是某只 SPY 内最大持仓 — dr1337 · 2026-11-09
- OpenAI CFO 表态:数据中心扩张不会放缓,将继续重视当地社区关系 — i_dg23 · 2026-11-09
- 92 万亿 token 除以 154 万日活，agent 时代的算账之争 — teortaxesTex · 2026-11-09
- 数据中心新增容量环比腰斩，Gary Marcus 力挺 Ed Zitron「AI 业在撒谎」论 — GaryMarcus · 2026-11-09
- 分析师：黄仁勋若因安全或出口违规离职，英伟达股价恐跌破155支撑 — GaryMarcus · 2026-11-09
- 德州州长候选人承诺暂停所有数据中心审批，选址风向或生变 — Traditional-Chip8339 · 2026-11-09