Liquid AI 发布 DSpark 投机解码,LFM2.5-VL-3B 解码提速至 3 倍

helloiamleonie · x · 2026-09-24

Liquid AI 发布实验性 DSpark draft 模型 LFM2.5-VL-3B-DSpark,为视觉语言模型 LFM2.5-VL-3B 引入投机解码:由 279.5M 参数的轻量 drafter 提前提议多个 token,目标模型一次验证,输出不变而生成显著加速。性能数据(batch size 1、温度 0):MLX on M5 Max 解码最高提速 3.13 倍、端到端 2.62 倍;llama.cpp on M3 Ultra 解码 2.14 倍、端到端 1.77 倍;SGLang on H100 解码 2.66 倍、端到端 2.27 倍。greedy 解码下结果与目标模型完全一致。模型已在 Hugging Face 开源,配套 GGUF 版本,Apple silicon 上 block size 为 8。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →