实测本地推理工具 Magnitude：号称比 llama.cpp 快 2 倍，中低端硬件未兑现
OsmanthusBloom · reddit · 2026-10-30
r/LocalLLaMA 用户实测了开源本地推理应用 Magnitude——它号称通过针对硬件调优 kernel，比 Ollama/llama.cpp 快 2 倍。作者在 RTX 3060 Mobile 笔记本和树莓派 5（纯 CPU）两台机器上做了对比。
主要发现
- 启动慢、CPU 占用高：首次启动有一个校准过程，但不明确提示进度。
- 模型支持有限：仅支持几十个模型（Qwen、Gemma、LFM、MiniCPM 等家族），能发现 Ollama/llama.cpp 缓存里的 GGUF 但多数无法运行。
- 存储位置问题：模型默认下载到 /.magnitude/models/，作者通过软链接把 GGUF 指向更快的数据分区解决。
- 不支持部分 CPU offload：6GB 显存笔记本上，Qwen3.6-35B-A3B 等较大 MoE 直接被标记「不适配」，而 llama.cpp 可以部分跑在 CPU 上。
- 显存估算偏高：LFM3-1.7B Q8 报 5.3GB，实际只占用约 4.2GB，意味着部分被拒模型其实放得下。
- 架构类似 Ollama：后台服务进程 + GUI/CLI + 聊天界面，并在 localhost:10100/inference/v1 提供 OpenAI 风格 API。
- 使用 llama-benchy 对同一 LFM3-1.7B Q8 GGUF 与 llama.cpp 做 PP/TG 公平对比。
「Infra」频道最新
- Intel 预告 2027 资本开支超预期:明年恐无正自由现金流 — BenBajarin · 2026-10-30
- 英特尔加速亚利桑那 Fab 62 洁净室建设，并探索提前推进俄亥俄项目 — BenBajarin · 2026-10-30
- Altman 称本地 AI 浪费内存，KOL 反驳其不懂本地部署刚需 — kimmonismus · 2026-10-30
- Everpure CTO：AI 工作负载将加速 HDD 向全闪存数据中心过渡 — IBDinvestors · 2026-10-30
- Intel 数据中心收入大涨 78% 至 73 亿美元，创 15 年最强增长 — BenBajarin · 2026-10-30
- 零阶优化 10 天提速 4000 倍：无反向传播预训练仅需 1.6 秒 — SonglinYang4 · 2026-10-30