zml/llmd 宣称 Metal 上推理快过 oMLX 并支持 NVFP4
jedisct1 · x · 2026-10-24
- 开发者 steeve 提醒：zml 团队的本地推理引擎 llmd 可直接在 Apple Metal 上运行，速度据称快过 oMLX，并新增对 NVIDIA NVFP4 量化格式的支持。
- 新版本已上架 Homebrew，可用 brew upgrade zml/zml/llmd 从 20261009.0 升级到 20261023.0。
「Infra」频道最新
- Orin Nano 首 token 5.8 秒优化实战：短提示词+缓存工具 schema — AIFlow_ML · 2026-10-24
- Cognitive Revolution 播客：GPU 信贷紧缩与 2027 递归自改进时间表 — The Cognitive Revolution · 2026-10-24
- billion-context 插件让 Agent 用 100K 窗口跑十亿 Token 级长会话 — aigclink · 2026-10-24
- Claude API 支持 Workload Identity Federation,告别静态 API Key — brada · 2026-10-24
- LLM 推理范式或正从批并行转向序列并行,扩散式 LM 是终点? — sedielem · 2026-10-24
- RTX 5090 跑 ComfyUI Moss Image 才响,电源啸叫元凶是瞬态电压尖峰 — Garito10 · 2026-10-24