LFM3-Omni-2B 跑进 iPhone:纯本地全双工多模态达 80 tok/s

victormustar · x · 2026-11-05

xenovacom 团队将 LiquidAI 的 LFM3-Omni-2B 移植到完全离线运行:此前先在浏览器里实现了首个真正端到端本地运行的全模态模型——无需独立 ASR/TTS,自定义 WebGPU 内核让它在 M4 Max 上跑到约 280 tok/s,首 token 仅 90ms、首段音频 140ms,可接受视觉/音频/文本输入并交错输出文本与音频 token。

现在进一步移植到 iPhone 18 Pro Max 的 React Native 应用中,离线达到约 80 tok/s,并询问是否应上架 App Store。团队称实时本地对话 AI 将让智能普惠化,端侧多模态 agent 前景可期。