Liquid AI 发布 DSpark 草稿模型,VL 模型推理最高提速 3.13 倍
JosephJacks_ · x · 2026-09-25
Liquid AI 为其视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型,引入投机解码:轻量 drafter 一次提出多个 token,目标模型单次验证,不改变输出质量。实测(batch size 1、temperature 0):MLX 在 M5 Max 上解码最高快 3.13 倍、端到端 2.62 倍;llama.cpp 在 M3 Ultra 上解码 2.14 倍、端到端 1.77 倍;SGLang 在 H100 上解码 2.66 倍、端到端 2.27 倍。评测数据来自其公开基准设施 Pipette。
所属事件:Liquid AI 推出 DSpark 投机解码,VL 模型提速超 3 倍(4 条相关)→
「Infra」频道最新
- AI 找 Linux 漏洞太快,Ubuntu 被迫转向每周内核更新 — AIFlow_ML · 2026-09-25
- Wasmer 在 iOS 和浏览器跑起 PostgreSQL 18.4,全程无需后端 — jedisct1 · 2026-09-25
- 推理服务商 Jatevo:已交付 1240 亿 token、166 万次请求、14.7 万美元推理 — toptickcrypto · 2026-09-25
- 免校准量化方法 TQ 开源:4-bit 量化 Qwen3.8-27B 即发即用 — textclf · 2026-09-25
- Ben Bajarin:Agent 推理重塑数据中心 CPU/GPU 配比,neocloud 落后 hyperscaler — BenBajarin · 2026-09-25
- PreFT 论文入选 NeurIPS:仅 Prefill 阶段用 LoRA,多适配器推理提速 — aryaman2020 · 2026-09-25