单卡 RTX 3090 跑出 129.5 tok/s 与 344K 上下文,自研推理引擎对比 llama.cpp 提速 2.3 倍

teortaxesTex · x · 2026-11-21

开发者 superalesha 发布开源引擎 maya-ik2(基于 Project Maya),在单张 RTX 3090 上将 Inkling 2 Mini 推理速度提升到 129.5 tok/s、支持 344K 上下文,解码比 llama.cpp 快 2.3 倍、prefill 快 3.7 倍且零质量损失。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →