开发者用 MiniCPM-o4.5 打造本地桌面 AI「贾维斯」，旧版云端方案曾烧掉 861 美元
面壁智能 · wechat · 2026-09-03
面壁智能「火种说」本期介绍开发者林亦团队基于 MiniCPM-o4.5 打造的本地全模态桌面 Agent——AIJarvis，项目已在 GitHub 开源。
- 从截图问答到持续在场：早期方案每几秒截屏发给云端模型，延迟高、累计 API 费用达 861.69 美元。新方案中模型每秒接收一帧桌面画面和一秒系统音频，在 LISTEN（观察）和 SPEAK（开口）两种状态间自主切换，全程本地推理。
- 游戏陪伴：在《我的世界》中提醒靠近的猪、在 CS 中输出低频气泡提醒，可为不同游戏配置独立提示词与互动节奏，不替玩家操作。
- 课程模式与笔记：同时理解课程画面与教师声音，走神时提醒，课后自动整理关键画面、板书和知识点为 Markdown 笔记。
- 全天记忆：整理活动时间线，回顾一天的学习/娱乐时长，发现用户卡住或过劳并给出建议。
- 隐私设计：屏幕感知、音频处理和推理全在本机完成，日常不保存原始画面音频，可随时暂停感知。
- 可安装分发：提供 Windows 安装包，内含 Python 后端与编译好的 C++ 推理运行时，首次启动自动下载约 6.32GiB 的 GGUF 模型；基于 llama.cpp-omni 推理，DXGI 采集画面、WASAPI 获取音频，支持 CUDA 加速并按显存自动分配层数，可回退 CPU。
项目地址：github.com/LYiHub/pub-local-jarvis
「应用」频道最新
- Resona 发布：把创作者内容变成可实时互动的 AI 直播间 — heyshrutimishra · 2026-09-03
- GEO 创业公司 Jam 推出全渠道营销 Agent,主打提升 AI 搜索引用率 — jia_seed · 2026-09-03
- Until 用 AI 把低温保护剂候选分子筛到 25 万个 — NirantK · 2026-09-03
- 马斯克宣布 Grok 应用正式登陆 Android 平台 — dean_rie · 2026-09-03
- Social Bid 上线:X 账号赞助竞价市场,创作者留 80% — alexmacgregor__ · 2026-09-03
- Playgrnd beta 上线:32 款免费小工具,纯浏览器玩创意 — yuwen_lu_ · 2026-09-03