TensorFold 0.6.1 上线 DGX Spark 性能大增:8 流提速 36%
EAccelerate_42 · x · 2026-10-02
TensorFold 发布 0.6.1 版本,带来多项推理性能优化:
- RTX PRO 6000 Blackwell 适配:27B 模型可直接运行,支持 NVFP4 4-bit 检查点,也可切回全精度模式。
- CUDA Flash Next:同时到达的 prompt 一次填充;27B 模型 8 流并发最高提速 36%,最慢首 token 延迟从 0.8 秒降至 0.1 秒。
- 共享 4.09 万 token 系统 prompt 场景下,响应从 16-56 秒降至 1 秒内;支持从分叉点续跑、短请求不再排在长请求后、图文混合推理。
- DGX Spark:8k-32k prompt 填充速度提升约 15%;Mac 上最高提速 10%。
作者感叹 speculative decoding 与 Tensor Fold 这两项近期进展对 DGX Spark 价值提升巨大。
「Infra」频道最新
- tinygrad 推出 768GB 显存 tinybox:4 张翻新 MI300X 售价 8.9 万美元 — viksit · 2026-11-19
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19