TensorFold 推出 macOS 应用，本地跑开源模型实测 874 tok/s
HankYeomans · x · 2026-10-15
- 开源推理引擎 TensorFold 发布 Beta 版 macOS 应用，可直接图形化启动引擎，无需再进 CLI，代码开源在仓库 /app 目录接受 PR。
- 定位是在自己的 Apple Silicon 或 NVIDIA GPU 上运行开源模型，支持 Metal 与 CUDA，提供 OpenAI 和 Anthropic 兼容 API，采用 Apache-2.0 协议，并已加入 NVIDIA 创业计划 Inception。
- 官方公开了带硬件条件的实测数据：RTX PRO 6000 Blackwell 上 Nemotron 3.5 Lightning（MLX affine 4-bit）贪心解码+drafting 达 874 tok/s，prompt 复用耗时 90–110ms，8 路并发流聚合 199 tok/s；还支持 draft 模型提议、目标模型批量验证的并行解码，以及多台 Mac 联机跑同一模型。团队称正准备将其部署到卫星上。
「Infra」频道最新
- CoreWeave 债券收益率盘中触及 15.1%,收于 14.5% 历史新高 — asusarla · 2026-10-15
- 贝莱德 CEO Fink 警告:停建数据中心或使美国陷入衰退 — Polymarket · 2026-10-15
- 用 Claude Code 一句话接入 Bittensor 子网,靠 GPU「挖矿」赚 TAO — airesearch12 · 2026-10-15
- OpenAI 基建负责人离职创业:已锁定两位数 GW 算力,称初创更想要算力而非钱 — DesireeCachette · 2026-10-15
- 159 家数据供应商名录曝光 AI 训练数据市场规模 — cneuralnetwork · 2026-10-15
- 算力是下一个大宗商品：GPU 是油井，token 是燃气 — AnneliesGamble · 2026-10-15