TensorFold 0.6.1 上线 DGX Spark 性能大增:8 流提速 36%
EAccelerate_42 · x · 2026-10-02
TensorFold 发布 0.6.1 版本,带来多项推理性能优化:
- RTX PRO 6000 Blackwell 适配:27B 模型可直接运行,支持 NVFP4 4-bit 检查点,也可切回全精度模式。
- CUDA Flash Next:同时到达的 prompt 一次填充;27B 模型 8 流并发最高提速 36%,最慢首 token 延迟从 0.8 秒降至 0.1 秒。
- 共享 4.09 万 token 系统 prompt 场景下,响应从 16-56 秒降至 1 秒内;支持从分叉点续跑、短请求不再排在长请求后、图文混合推理。
- DGX Spark:8k-32k prompt 填充速度提升约 15%;Mac 上最高提速 10%。
作者感叹 speculative decoding 与 Tensor Fold 这两项近期进展对 DGX Spark 价值提升巨大。
「Infra」频道最新
- 美国数据中心建设支出创新高,年化近 850 亿美元 — HaydnBelfield · 2026-10-02
- HBM 紧缺将持续多年,华尔街「2029 存储崩盘」判断遭质疑 — JOBhakdi · 2026-10-02
- HF Jobs 新增 Train Models 页:单张 A10G 约 3 分钟 0.1 美元跑微调 — vanstriendaniel · 2026-10-02
- 爆料称 Gemini 4 下周起向 Ultra 用户推送,Google TPU 产能或吃紧 — haider1 · 2026-10-02
- 三菱日联等银行收紧数据中心贷款,Beff 称热力学计算可解算力危局 — beffjezos · 2026-10-02
- DGX Spark 被 Linux 隐藏 4.1 GiB 内存,两个技巧找回 — marian_nmt · 2026-10-02