Liquid AI 发布 LFM3:1.7B 三混合架构,iPhone 跑 43.6 tok/s
RobertTLange · x · 2026-10-29
Liquid AI 发布新一代 LFM3 端侧模型家族(2B 级),开源权重已上线 Hugging Face,含文本、视觉、音频、omni 与决策模型六款,共享一个 tri-hybrid 1.7B 骨干。
架构要点:
- 24 层:13 层门控短卷积 + 5 层滑动窗口注意力(窗口 256)+ 6 层全局 GQA;仅 6 层保留 KV cache(12 KiB/token,128K 上下文约 1.5 GiB),支持 256K 上下文
- per-head σ attention gate、QK-norm、sandwich norm、16q/4kv
- 22T token 预训练,SFT + RL + 6 教师在线蒸馏
性能:
- 相比 Gemma 4 E4B 赢 28/29 项 benchmark,对 5 倍大的 Qwen3.5-9B 赢 14/29
- M5 Max 上 237 tok/s,iPhone 17 Pro 上 43.6 tok/s(Q40,32K ctx)
- 硬件在环架构搜索扩展到 14 种设备/后端组合(手机、树莓派 5、笔记本、云端 CPU、GPU、Qualcomm NPU)
- 定位「专用智能」:可本地微调成特定任务专家
所属事件:Liquid AI 发布 LFM3：六款 2B 级开源端侧全模态模型(39 条相关)→
「Infra」频道最新
- 曝 OpenAI 拟采购谷歌 TPU，最大对手互为供需 — winer666 · 2026-10-29
- Google Cloud Q3 营收翻倍至 307 亿美元,营业利润率升至 36.2% — thedealdirector · 2026-10-29
- Matthew Berman 本地跑模型又把办公室电路烧短路了 — MatthewBerman · 2026-10-29
- Google Cloud Q3 营收 307 亿美元，同比增速飙至 103% — Beth_Kindig · 2026-10-29
- 如今一张显卡的钱能买几辆车？网友调侃硬件价格离谱 — TechPreacher · 2026-10-29
- Google API 每分钟处理 320 亿 token,一年翻了四倍 — Beth_Kindig · 2026-10-29