TensorFold v0.3.4:M3 Ultra 上 Qwen 27B 解码翻倍至 158 tok/s
TheMoonMidas · x · 2026-09-27
面向 Apple Silicon 的开源推理引擎 TensorFold 发布 v0.3.4,为 M1–M4 芯片启用并行 lane 推测解码,在 M3 Ultra(256GB)上将 Qwen3.8-27B 代码任务解码速度翻倍至 141–158 tok/s。
核心机制:"Draft wide, commit exact"——单输入流并行草拟多个候选 token,由目标模型一次校验后仅接受匹配前缀。官方实测数据:
- M5 Max 128GB + Nemotron 3.5 Lightning 30B-A3B:188–206 tok/s(MTP 头默认启用)
- M5 Max 128GB + Qwen3.8 27B(DFlash2):120–124 tok/s(无草稿时 27 tok/s)
- M3 Ultra 256GB + Qwen3.8 Flash Next:88–92 tok/s(无草稿时 79 tok/s)
基于 MLX + Metal,提供 OpenAI 兼容 API,代码开源于 GitHub。下一步将推出 lane batching,并发场景已有早期收益。
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16