YC 系开源推理引擎 Magnitude 登顶 HN，解码速度最高翻倍

YC S25 公司发布开源推理引擎 Magnitude，冲上 Hacker News 首位并引发社区热议。该引擎主打在用户本地硬件上尽可能快地运行开源模型，可在设备端编译并调优 kernel。官方基准测试显示其解码速度最高比 llama.cpp 快 2 倍，其中 Metal 平台提升 92%，CUDA 平台也有明显加速。

2026-10-01 ~ 2026-10-01 · 2 条相关

• YC 系 Magnitude 开源推理引擎：Metal 上解码比 llama.cpp 快至 2 倍 — petrusenko_max · 2026-10-01
• 推理引擎 Magnitude 登顶 HN：本地跑开源模型比 llama.cpp 快至 2 倍 — nickbaumann_ · 2026-10-01