纯离线相机应用：手机同跑 YOLOv8n 加 0.8B 微调 VLM，开源

divinetribe1 · reddit · 2026-09-13

开发者分享一款全离线相机应用的架构，双模型拆分是其最花时间的部分，代码以 GPL 3 开源（RealTimeAICam）。

检测：YOLOv8n 在 Open Images V7 上训练，601 类，预览帧实时运行；Android 用 tflite fp16，iOS 转换后部署
描述：自研微调的 0.8B VLM，4-bit 量化，iOS 走 MLX Swift，Android 走 llama.cpp + mtmd，输出一句话而非类别列表（如「这是 Umpqua Bank 的账单，$76.50，2027 年 4 月 2 日到期」）
路由：VLM 运行前先做文档检查——iOS 用 Vision 文档分割、Android 用 ML Kit 文字识别；≥3 行且 ≥20 字符按「页面提问」处理，否则按「场景提问」，同一权重换 prompt，效果明显提升
数据：模型加载约 300ms；无可用 GPU 的低端 Android 机上一次描述约 90 秒；有 Vulkan 探测回退；仅支持 arm64（llama.cpp sgemm 不支持 32 位）
权重随应用打包，无首次下载、无 API key

「编程与Agent」频道最新