YC 系 Magnitude 开源推理引擎:Metal 上解码比 llama.cpp 快至 2 倍
petrusenko_max · x · 2026-10-01
Magnitude(YC S25)发布开源推理引擎,可在设备端编译并调优 kernel。官方数据显示解码速度最高比 llama.cpp 快 2 倍:Metal 平台提升 92%,CUDA 平台提升 19%。支持 Apple Silicon、NVIDIA、AMD 及纯 CPU 硬件,采用 Apache-2.0 协议开源。
所属事件:YC 系开源推理引擎 Magnitude 登顶 HN,比 llama.cpp 快至 2 倍(3 条相关)→
「Infra」频道最新
- 微软 365 宕机复盘:健康检查机制如何反向加剧故障 — _jaydeepkarale · 2026-11-16
- 爆料:美商务部今晚将发布 AI 芯片远程访问新规 — ShakeelHashim · 2026-11-16
- Liquid AI d1-2B 端侧决策模型:摄像头读手势仅 68ms、每秒 14 次决策零 token — AccBalanced · 2026-11-16
- 微软 Outlook 宕机致氯气警报邮件未送达,德国乐园 15 名泳池游客受伤 — AccBalanced · 2026-11-16
- 郭明錤:OpenAI、Anthropic 新订单将 Google TPU 出货能见度推至 2029 — BenBajarin · 2026-11-16
- Cerebras 核心营收同比增 70% 至 2.31 亿美元,积压订单达 261 亿 — AccBalanced · 2026-11-16