zml/llmd 推理服务器发布：单引擎支持 NVIDIA/AMD/TPU/Metal，镜像最小仅 142MB
siwu · reddit · 2026-11-07
zml 团队发布通用推理服务器 zml/llmd（llmd-20261106.0），宣称是当前最快的推理引擎之一，同一引擎跨 NVIDIA、AMD、Intel、TPU 和 Metal 运行。
功能特性
- 连续批处理、前缀缓存、投机解码（DFlash/DFlash2/DSpark）、工具调用、张量与专家并行的自动分片。
- 原生 VFS 支持 s3:// 与 hf://，模型可流式直达 GPU。
模型支持：Qwen 2/3/3.5/3.6/3.8 系列（dense 与 MoE）、Gemma 3/4、LLaMa 2/3、Mistral 3 与 Ministral、GLM 5.2/5.3、DeepSeek 4.1 Flash、LFM 系列、小米 MiMo V2.6 等数十款。
镜像体积优势：CUDA 1.96 GB、ROCm 4.77 GB、TPU 272 MB、OneAPI 454 MB、Metal 142 MB（brew 安装），显著小于同类方案。
「Infra」频道最新
- Groq 启动新一轮融资，投前估值达 80 亿美元 — nmasc_ · 2026-11-07
- 曝英伟达要求东南亚云伙伴客户接入 AI 芯片位置追踪计划 — nmasc_ · 2026-11-07
- Starlink 已接入巴西最大铁路货运商 500 多台机车与车厢 — elonmusk · 2026-11-07
- 马斯克称晶圆仅 20% 时间在做有效加工，特斯拉拟自建 fab 重构芯片制造 — XFreeze · 2026-11-07
- Together Compiler 上线:智能体持续编译内核,推理提速最高近半 — togethercompute · 2026-11-07
- llama.cpp 合入 Kimi K3.1 Pro 支持，本地跑大模型成真 — jacek2023 · 2026-11-07