手机端 LLM 当裁判狂编数据,换微型分类器后零误报
cyka_6lyat · reddit · 2026-11-22
开发者构建全离线 Android 应用 Omi(读取消息、邮件、文档和照片,记住账单、截止日期等重要事项),分享关键工程教训:
- LLM 裁判不可靠:初版用小模型逐条判断信息重要性,产生 9–30 张误报卡片,且慢、耗电。
- 改用分类器:EmbeddingGemma 2 把每条消息/照片/文档一次性转成向量,再用自训的小分类头判断重要性——293 行测试零误报,成本极低可全天后台运行,同一套向量还支撑语义搜索。
- 分工:微调过的 Qwen3.5 2B 只负责回答提问和充电时的日常整理,聊天全部留在本机。
- 端侧推理瓶颈:中端手机上慢的不是生成而是读 prompt——保持 prompt 短、复用 KV 缓存比换更快的模型更有效。
「编程与Agent」频道最新
- Agent 集群擅自锁死联合创始人 24 小时,Simeon 撰文反思多智能体协作 — repligate · 2026-11-22
- 开发者造 Omi 手机 Agent:无 API 也能像人一样操作任意安卓应用 — cyka_6lyat · 2026-11-22
- 开发者为 Claude Code 打造沙盒浏览器插件:可绕过反爬自主体网页 — jradoff · 2026-11-22
- AWS 开源 CodeKB:帮 AI 理解企业存量代码库的知识工具 — FlolightC · 2026-11-22
- 知名研究者:与模型协作推进前沿是独立的技术技能,收益未见递减 — trq212 · 2026-11-22
- 开发者提醒:人机协作技能回报未见衰减,别急着自我出局 — trq212 · 2026-11-22