TensorFold 1.2.2 发布：GB10 prefill 提速近 40%
HankYeomans · x · 2026-11-04
本地推理引擎 TensorFold 发布 1.2.2 版本，主要更新：
- Qwen3.8-27B EXL3 在 GB10 上 2K-64K prompt 的 prefill 提速 38%-42%
- M5 Max 上 Flash Next 解码提速 36%-39%（SSD-backed embeddings）
- Ryzen AI Max 的 HIP 解码更快，GLM-OCR 原生支持 HIP，Qwen3.5-9B 支持 Metal
- NVIDIA Qwen3.8-Flash-Next NVFP4 checkpoint 支持 CUDA TP=2
- CUDA 加载更快、减少 CUDA/Metal 加载后的重复内存占用，修复损坏 checkpoint header
- macOS arm64、Linux x8664/aarch64 提供签名归档
官网展示的实测数据包括 RTX PRO 6000 Blackwell 上 Nemotron 3.5 Lightning 达 874 tok/s 解码、双 M5 Ultra 跑 GLM-5.3-Flash 八路并发合计 199 tok/s。引擎支持投机解码、prompt 复用、多机连接，Apache-2.0 开源，兼容 OpenAI/Anthropic API。
「Infra」频道最新
- LlamaIndex 将文档解析模型 OCRia-1 在单张 B200 上提速 10 倍至 2800 tok/s — llama_index · 2026-11-04
- 编码智能体让投机解码提速超一倍，DFlash2 达 10.87× — berkeley_ai · 2026-11-04
- 无 Dockerfile 扩展 Python 到 3200 文件：Metaflow 实战复盘 — anacondainc · 2026-11-04
- 企业 AI 支出一年暴涨至 1770 亿美元，Anthropic 占 API 份额 55% — deedydas · 2026-11-04
- 图解 IPO 烧钱效率：CoreWeave 每 1 美元收入耗资 2.8 美元，Anthropic 仅 0.14 — NathanpmYoung · 2026-11-04
- Orbital 用自研 CurieOS 起草两相冷板设计方案再人工挑毛病 — TimothyDuignan · 2026-11-04