Liquid AI 发布 DSpark 投机解码,LFM2.5-VL-3B 解码提速至 3 倍
helloiamleonie · x · 2026-09-24
Liquid AI 发布实验性 DSpark draft 模型 LFM2.5-VL-3B-DSpark,为视觉语言模型 LFM2.5-VL-3B 引入投机解码:由 279.5M 参数的轻量 drafter 提前提议多个 token,目标模型一次验证,输出不变而生成显著加速。性能数据(batch size 1、温度 0):MLX on M5 Max 解码最高提速 3.13 倍、端到端 2.62 倍;llama.cpp on M3 Ultra 解码 2.14 倍、端到端 1.77 倍;SGLang on H100 解码 2.66 倍、端到端 2.27 倍。greedy 解码下结果与目标模型完全一致。模型已在 Hugging Face 开源,配套 GGUF 版本,Apple silicon 上 block size 为 8。
「Infra」频道最新
- Celesto 发布 agent 专用计算机:500ms 启动 microVM,给智能体配浏览器和终端 — aniketmaurya · 2026-09-24
- 爆料:Google 或于下周用猎鹰 9 号发射太空 TPU,测试轨道 AI 数据中心 — ns123abc · 2026-09-24
- 研究员利用 Cloudflare Containers 漏洞读取其他租户磁盘残留数据 — matthew_d_green · 2026-09-24
- IIT 德里发布印度首款自研微型 GPU — Paimaamu · 2026-09-24
- Marvell 与 GlobalFoundries 达多年协议,扩充硅锗产能 — Beth_Kindig · 2026-09-24
- LLM Compressor v0.14.0 发布,GPTQ 量化提速最高 30 倍 — vllm_project · 2026-09-24