开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上
nickbaumann_ · x · 2026-10-15
Magnitude 是一个开源推理引擎，通过在本机自动调优 kernel，让开源模型跑满硬件性能，无需更换硬件。
- 下载模型后在你的芯片上花最多约一分钟，自动尝试不同的计算拆分方式（GPU 线程协作数量、每线程处理块大小、数据预加载距离），保留最快的实现
- 在 11 个热门本地模型上平均：Mac M4 Pro 对比 Ollama（MLX）prefill 快 1.32 倍、decode 快 2.19 倍；NVIDIA DGX Spark 对比 Ollama（llama.cpp）prefill 快 1.34 倍、decode 快 2.17 倍
- 具体成绩如 Qwen 3.6 35B 在 M4 Pro 上从 47 提升到 122 tok/s
- 支持 Apple Silicon、NVIDIA、AMD 乃至纯 CPU。作者指出 Ollama、LM Studio、llama.cpp 因逐芯片手工调优成本过高，只能采用通用 kernel，这是 Magnitude 的切入点
「Infra」频道最新
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
- Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15
- 黄仁勋:欧洲不缺科学家,缺的是 AI 革命所需的长期能源方案 — karmicoder · 2026-10-15
- 迁出 1PB 云数据仅出口费就达 7.4 万美元，总成本可达 50 万美元 — DavidLinthicum · 2026-10-15