自研推理引擎 YASAKANI 实测全胜 SGLang/vLLM,最快快 2.86 倍
udmrzn · x · 2026-11-01
开发者 @yasakanidev 发布自称世界最快的推理引擎 YASAKANI,并公布实测数据(RTX 5090 + Qwen3.8-27B):
- 速度:思考生成中位数 380.6 tok/s,对比 SGLang 183.9、vLLM 182.9、llama.cpp 146.9;在全部 10 项测试中全胜,比各对手最快的配置快 1.69–2.86 倍(对手已开 DFlash 2/DSpark/MTP,YASAKANI 取两次测量中较慢值);对 ExLlamaV3(MTP)也快 2.39 倍。TensorRT-LLM 因 MTP 在 RTX 5090 上无法运行未参与对比。
- 压缩格式:自研 .mgtm(勾玉)格式下模型仅 12.4GB,比 GGUF Q4KM(17.4GB)小 5GB;与同体积最优公开 GGUF 相比,与原模型的 KLD 散度约减半(0.021 vs 0.039),也优于 GSQ-RCO(IQ3S)的 0.044。
项目计划开源免费发布,具体日程将在其账号公布。
「Infra」频道最新
- ET-SoC-1 芯片交互式可视化:FMA 指令放大后长这样 — yaroslavvb · 2026-11-01
- 马斯克：Colossus 2 年底将部署约 120 万块 Blackwell GPU — scaling01 · 2026-11-01
- 六张 RTX 3090 加 256GB 内存，玩梗宣示本地模型 independence — gklambauer · 2026-11-01
- Tokenomos 开源：重写 vLLM 前端，小模型推理提速近 3 倍 — bdsqlsz · 2026-11-01
- DeepSeek 披露 Agent 持久在线方案：主系统外设 Watchdog 看门狗会话 — teortaxesTex · 2026-11-01
- DeepInfer MegaMoE 实测：H200 单卡推理吞吐较基线提升 4 倍 — michellechen · 2026-11-01