TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark
HankYeomans · x · 2026-10-16
开源本地推理框架 TensorFold 发布 1.0.12 版，重点是把视觉多模态模型塞进消费级/桌面设备：
- Nemotron 3.5 Super VL 120B 支持 CUDA，单台或两台 DGX Spark 即可运行（双机时专家权重按份拆分，实测输出与单机逐 token 一致），支持 NVIDIA 原生 FP4/FP8 数学；
- Mac 端新增 Qwen3.8-27B 与 GLM-5.3-Flash 的图像输入，Nemotron 支持混合宽度量化 checkpoint（oQ）；
- LiquidAI 的 LFM2.5-24B-A2B 提供 4/6/8 bit 服务；GLM-5.3-Flash NVFP4 在 Spark 与 Intel Arc 上提供源码构建预览，AMD GPU 同样有预览；
- 新增 Recall 功能（默认关闭）允许草稿复用服务端读过的文本，Living Weights 支持“撤销”已学内容；发布门禁确保与 1.0.11 输出逐 token 一致。
「Infra」频道最新
- Sabaki：毫秒级 CPU 路由器，用准确率换 1000 倍延迟优势 — Fox3000foxy · 2026-10-16
- BitRun 在纯 CPU 跑 1-bit LLM：8B 模型 2GB 内存、21 t/s — The_VibePreneur · 2026-10-16
- MiniCPM-V 4.7 上了手机:35B MoE 在 iPhone 上 3GB 内存跑出 13+ tokens/s — heyshrutimishra · 2026-10-16
- 个人 C++/Vulkan 推理引擎 LaForge 调优后 SD1.5 出图快 30-46 倍 — Ichidan256 · 2026-10-16
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16