TensorFold 1.3.3 发布:24 小时合并 124 个 PR,GLM 推理提速 13.8%
AIFlow_ML · x · 2026-11-22
本地推理工具 TensorFold 发布 1.3.3 版本,24 小时内合并 124 个 PR、解决 34 个 issue。
主要更新:
- CUDA 推理提速:GLM-5.3-Flash 在 4 张 GB10(TP=4)上处理 1,048,576-token 长 prompt 后,drafted decode 中位数从 151.51 提升到 172.39 tok/s(172.39 tps),同测试条件下快 13.8%,新 kernel 来自 MiaAIlab。
- Metal 优化:Mac 上 GLM-5.3-Flash 获得 DFlash2 drafting,无 tensor unit 的 Mac 处理 2K–64K 冷 prompt 时间缩短约 5–6%。
- 模型支持扩展:MOSS-Image 可通过 /v1/images/generations 在 CUDA 上生图;GLM-OCR 支持 HIP;Idol 的图像编码器上到 Metal。
- DeepSeek-V4.1 在 dsv41-cuda 源码构建中获得结构化输出支持。
「Infra」频道最新
- Gary Marcus 转发质疑:Nvidia 是否在托底 token 价格? — GaryMarcus · 2026-11-22
- AWS Marketplace 接入 x402:Agent 按请求付费直接进 AWS 账单 — MurrLincoln · 2026-11-22
- 单月烧 262 亿 token 仅花 94 美元:重度 Agent 用户实测 DeepSeek 用量 — teortaxesTex · 2026-11-22
- Burkov:AI 需求消退后开源自托管模型将像云 VPS 一样便宜 — burkov · 2026-11-22
- 三星 2027-2029 年内存产能基本售罄,客户求签至 2031 年 — sudoraohacker · 2026-11-22
- 1GW 租金 500 亿美元,算账质疑 Anthropic 消化不了 xAI 新增算力 — toptickcrypto · 2026-11-22