TensorFold 1.2.3 发布：GB10 NVFP4 解码提速 21%，M3 Ultra 长上下文 48 秒缩至 8 秒
HankYeomans · x · 2026-11-06
开源本地推理工具 TensorFold 发布 1.2.3 版本，Flash Next 引擎带来实测改进：
- 双 GB10 NVFP4 TP=2：纯解码提速 21%–23%，每 rank 节省 2.62 GiB 模型显存。
- M3 Ultra 并行服务测试：64K prompt + 1024 token 回复从 48 秒降至 8 秒。
其他新增：PDF 文档输入、Ornith-1.5-122B Metal 支持、dots.mocr 原生 OCR、HIP 上的 Qwen embeddings/reranking、Intel Iris Xe 上的 LFM3-1.7B；并修复 prompt caching、内存、流式 tool calls 等问题。项目为 Apache-2.0 开源，支持 Metal 与 CUDA，提供 OpenAI 兼容 API 和 draft-tokens 推测解码。
「Infra」频道最新
- 复旦 D3D 论文:解耦扩散草稿模型实现异步投机解码加速 — Fudan-University · 2026-11-06
- ThursdAI 播客：美国中期选举后，AI 彻底完蛋了吗？ — altryne · 2026-11-06
- sshhole 漏洞分析：或危及上亿台 OpenWRT 路由，MUSL 系统首当其冲 — esrtweet · 2026-11-06
- 开源 Smarter Compact：长会话成本降 72%，被裁剪上下文可搜索召回 — goost95 · 2026-11-06
- 本地 AI 日报：TensorFold 1.2.3 解码提速 21–23%，Ripple-65B 开源预览 — AIFlow_ML · 2026-11-06
- 「数据中心泡沫要是破了，我该怎么办？」算力圈自嘲 — max_paperclips · 2026-11-06