LFM3 离线跑上 iPhone：2B 视觉模型识菜单，文本 40 tok/s
K4anan · reddit · 2026-10-30
Liquid AI 的 LFM3-1.7B 和 LFM3-VL-2B 已可在 iPhone/Android 上完全离线运行于开源应用 Private Mind。演示中 LFM3-VL-2B 看懂日文拉面菜单：被问「不吃辣点什么」时避开「激辛」选了味噌拉面，还能找到「仅收现金」标识。
iPhone 16 Pro 实测：LFM3-1.7B 文本（MLX 4-bit，GPU）约 40 tok/s、首 token <0.5s；LFM3-VL-2B 带图首 token 约 9s、解码约 20 tok/s。
作者还重写了 ExecuTorch 导出：LFM3 用 24 层混合门控短卷积、全注意力与 256 窗口滑窗注意力，每头输出带 sigmoid 门、Q/K 做 RMSNorm、不同层用不同 RoPE。对 ExecuTorch 内置环形缓存按 2 倍窗口分配、单次前向限 512 token 的问题，改为 window+2048 缓冲+掩码强制 256 窗口，单次可吃 2048 token、上下文达 8192。与参考实现最大 logit 差仅 0.00005。导出模型已开源在 Hugging Face。
「Infra」频道最新
- GPU 计算非确定性根源：不在硬件，而在你控制不了的 kernel 路径 — felipesuch · 2026-10-30
- 分析师上调半导体预测:CY26 晶圆厂设备支出看至 1600 亿美元 — zephyr_z9 · 2026-10-30
- MIT 教授用 AI 治理数据中心：许多大型计算系统仅跑 15% 负载 — moniquejmorrow · 2026-10-30
- 法国网友炫耀全法产线：法国 LLM 跑在法国数据中心 — RemiCadene · 2026-10-30
- Starlink 覆盖赞比亚 250 家远程医疗机构，打通病历与 HIV 治疗数据 — XFreeze · 2026-10-30
- Intel 高管称明年 PC 出货量或跌 20%,内存危机拖累整体 TAM — teortaxesTex · 2026-10-30