TensorFold 1.3.0 发布:GLM-5.3-Flash 吞吐提升 24% 至 104 tok/s
AIFlow_ML · x · 2026-11-20
开源推理框架 TensorFold 发布 1.3.0 版本,主要更新:
- CUDA/TP=2:GLM-5.3-Flash 在两块 RTX PRO 6000 Blackwell 上从 83.8 提升至 104.1 tok/s(约快 24%),使用 NVFP4 experts、关闭 drafts、输出比特一致。
- Metal:DeepSeek-V4.1 的 prompt-attention kernel 快约 1.5×,GLM-5.3-Flash 首 token 提前 3–4%。
- 显存:CUDA 上 Flash Next 在加载 NVFP4 导出后释放约 3 GiB 页缓存;Linux 支持按需将 KV 页映射给并发流。
- 模型管理:tensorfold models 现在会标出哪些 chat checkpoint 适配你的机器;Metal 上 tensorfold info 估算 Qwen3.8-27B 级模型内存时会计入上下文与并发流。
「Infra」频道最新
- AssemblyAI 推出 LLM Gateway 熔断器:模型劣化前自动切换 fallback — AssemblyAI · 2026-11-20
- Asari AI 用 agent 将车企行为预测模型提速 14.6 倍 — songyoupeng · 2026-11-20
- 开发者用热成像相机验证 AI Agent 真的在操控定制 AI 芯片 — yaroslavvb · 2026-11-20
- 研究称 EUV 光刻功率有望突破 ASML 1 千瓦里程碑 — bronzeagepapi · 2026-11-20
- Reddit 热议:你的本地 LLM 到底拿来干什么,能跑多少 tk/s? — Ok-Option-82 · 2026-11-20
- Liquid d1-2B 决策模型吞吐达同级 LLM 19-30 倍,准确率持平 — mervenoyann · 2026-11-20