TensorFold 1.2.10 发布:Qwen3.8-27B 解码提速 57%
AIFlow_ML · x · 2026-11-19
本地推理引擎 TensorFold 发布 1.2.10 版本:
- Qwen3.8-27B 在 GB10 上、8 路并发共享 32K 前缀时解码速度提升 57%,回复质量不变
- DeepSeek-V4.1 冷启动 prompt 在 M5 Ultra 上提速 5–7%
- 新增后台响应、tensorfold launch 与 tensorfold rm 命令
- 在 Metal 上新增 Qwen3-Embedding 与 Unlimited-OCR-2 支持
TensorFold 支持 Apple Silicon、CUDA 与 AMD HIP/Vulkan,提供 OpenAI 兼容 API,官方公布多项实测数据,如 Nemotron 3.5 Lightning 在 RTX PRO 6000 Blackwell 上达 874 tok/s(带 draft 解码)。
「Infra」频道最新
- Exa 借 AWS 自研芯片将嵌入吞吐提升 50%,索引数百亿文档 — AWS ML Blog · 2026-11-19
- 特朗普政府限制数据中心输华新政推进,谷歌亚马逊游说失败 — pstAsiatech · 2026-11-19
- 奔驰北美车机跑 Liquid 本地模型,Shopify 要求查询改写 20ms 端到端 — agihouse_org · 2026-11-19
- Liquid AI 预研:固定内存预算下的设备端持续学习 — agihouse_org · 2026-11-19
- Liquid AI 主题演讲要点:让 AI 能力走进身边的每台设备 — agihouse_org · 2026-11-19
- OpenAI 前 10% 研究员日均烧掉 2.5 万美元 token,评论区:没人付原价 — ivan_bezdomny · 2026-11-19