LFM3-Omni-2B 离线跑进 iPhone：自定义 WebGPU 内核做到约 80 tok/s
xenovatech · reddit · 2026-11-05
一位开发者演示在 iPhone 18 Pro Max 上完全离线运行 LFM3-Omni-2B，速度约 80 token/s。方案是在 React Native 应用中用自定义 WebGPU 内核驱动，附带实机视频：屏幕上是飞行模式（无网络）下运行的实时相机理解应用。展示了端侧推理在移动设备上的实际可行性。
所属事件:LFM3-Omni-2B 完全离线跑进 iPhone，速度约 80 tok/s(2 条相关)→
「Infra」频道最新
- Bittensor 子网 Fugal 入选 Yuma 加速器，称以 1/6 成本达到 GPT-5.5 水平 — markjeffrey · 2026-11-05
- NVIDIA 论文：频繁压缩上下文几乎不损精度，长上下文或非必需 — rohanpaul_ai · 2026-11-05
- NVIDIA 论文：频繁压缩上下文，Agent 几乎不损精度还能省 3.6-7 倍成本 — rohanpaul_ai · 2026-11-05
- Qwen3.6/3.8 投机解码实测提速，最新 draft 模型再快约 10% — teortaxesTex · 2026-11-05
- webAI 开源 8.8B 模型 TwIL-8B：编程达前沿 93%，本地硬件可跑 — dr_cintas · 2026-11-05
- Together 推出 Compiler:新开源模型数小时内完成生产级推理优化 — togethercompute · 2026-11-05